perezu thesis

8/6/2019 PerezU Thesis

http://slidepdf.com/reader/full/perezu-thesis 1/153

S t r u c t u r e - A d a p t a b l e D i g i t a l N e u r a l N e t w o r k s

T H S E N

o

2 0 5 2

P r s e n t e a u D p a r t e m e n t d ' i n f o r m a t i q u e

C O L E P O L Y T E C H N I Q U E F D R A L E D E L A U S A N N E

p o u r l ' o b t e n t i o n d u g r a d e d e D o c t e u r s s c i e n c e s t e c h n i q u e s

p a r

A n d r s P r e z - U r i b e

i n g e n i e r o e l e c t r i c i s t a ,

U n i v e r s i d a d d e l V a l l e , C a l i , C o l o m b i e

d e n a t i o n a l i t c o l o m b i e n n e

p r e s e n t e a u j u r y :

P r o f . D . M a n g e d i r e c t e u r d e t h s e

P r o f . I . A l e k s a n d e r r a p p o r t e u r

P r o f . J . C a b e s t a n y r a p p o r t e u r

P r o f . W . G e r s t n e r r a p p o r t e u r

D r . P . M a r c h a l r a p p o r t e u r

P r o f . E . S a n c h e z r a p p o r t e u r

L a u s a n n e , E P F L

1 9 9 9



A b s t r a c t

N

e u r o e n g i n e e r s h a v e c a m e u p w i t h t h e i d e a o f a r t i c i a l n e u r a l n e t w o r k s , m a s -

s i v e l y p a r a l l e l c o m p u t i n g m a c h i n e s i n s p i r e d b y b i o l o g i c a l n e r v o u s s y s t e m s . S u c h

s y s t e m s o e r a n e w p a r a d i g m , w h e r e l e a r n i n g f r o m e x a m p l e s o r l e a r n i n g f r o m i n -

t e r a c t i o n r e p l a c e s p r o g r a m m i n g . T h e y a r e b a s i c a l l y c o m p o s e d o f i n t e r c o n n e c t e d s i m p l e

p r o c e s s i n g e l e m e n t s i . e . , a r t i c i a l n e u r o n s o r s i m p l y n e u r o n s .

A p r e d o m i n a n t a p p r o a c h i n t h e e l d o f a r t i c i a l n e u r a l n e t w o r k s c o n s i s t s o f u s i n g

a d a t a b a s e t o t r a i n t h e s y s t e m b y a p p l y i n g a s o - c a l l e d l e a r n i n g a l g o r i t h m t o m o d i f y

t h e i n t e r c o n n e c t i o n d y n a m i c s b e t w e e n a r t i c i a l n e u r o n s , u s i n g a p r e d e t e r m i n e d n e t w o r k

t o p o l o g y i . e . , t h e n u m b e r o f a r t i c i a l n e u r o n s a n d t h e w a y t h e y a r e i n t e r c o n n e c t e d .

W h e n t h e t r a i n i n g p r o c e s s e n d s , t h e s y s t e m r e m a i n s x e d , a n d c a n b e c o n s i d e r e d a

l e a r n e d s y s t e m .

H o w e v e r , i n a p p l i c a t i o n s w h e r e t h e e n t i r e t r a i n i n g d a t a b a s e i s n o t a v a i l a b l e o r m a y

c h a n g e i n t i m e , t h e l e a r n i n g p r o c e s s m u s t p e r s i s t , g i v i n g r i s e t o l e a r n i n g s y s t e m s . A

p r o b l e m o f s u c h s y s t e m s i s h o w t o p r e s e r v e w h a t h a s b e e n p r e v i o u s l y l e a r n e d w h i l e

c o n t i n u i n g t o i n c o r p o r a t e n e w k n o w l e d g e . L e a r n i n g s y s t e m s o v e r c o m e s u c h p r o b l e m s b y

a l o c a l a d a p t a t i o n p r o c e s s a n d b y o e r i n g t h e p o s s i b i l i t y o f d y n a m i c a l l y m o d i f y i n g t h e

n e t w o r k ' s t o p o l o g y .

M o s t a r t i c i a l n e u r a l n e t w o r k a p p l i c a t i o n s t o d a y a r e e x e c u t e d a s c o n v e n t i o n a l s o f t -

w a r e s i m u l a t i o n s o n s e q u e n t i a l m a c h i n e s w i t h n o d e d i c a t e d h a r d w a r e . R e c o n g u r a b l e

h a r d w a r e c a n p r o v i d e t h e b e s t f e a t u r e s o f b o t h d e d i c a t e d h a r d w a r e c i r c u i t s a n d s o f t w a r e

i m p l e m e n t a t i o n s : h i g h - d e n s i t y a n d h i g h - p e r f o r m a n c e d e s i g n s , a n d r a p i d p r o t o t y p i n g a n d

e x i b i l i t y .

T h e m a i n g o a l i n t h i s t h e s i s w a s t h e r e f o r e t h e d e v e l o p m e n t o f s t r u c t u r e - a d a p t a b l e

d i g i t a l n e u r a l n e t w o r k s w i t h c o n t i n u a l l e a r n i n g c a p a b i l i t i e s , u s i n g e l d - p r o g r a m m a b l e

l o g i c d e v i c e s . N e u r a l n e t w o r k m o d e l s w i t h m o d i a b l e s t r u c t u r e h a v e a l r e a d y b e e n d e -

v e l o p e d , b u t a r e u s u a l l y c o m p u t a t i o n a l l y i n t e n s i v e . T h e r e f o r e , w e h a v e d e v e l o p e d t h e

F A S T n e u r a l a r c h i t e c t u r e , a n u n s u p e r v i s e d l e a r n i n g w i t h F l e x i b l e A d a p t a b l e - S i z e T o p o l -

o g y t h a t d o e s n o t r e q u i r e i n t e n s i v e c o m p u t a t i o n t o l e a r n a n d r e c o n g u r e i t s s t r u c t u r e ,

a n d c a n t h u s e x i s t a s a s t a n d - a l o n e l e a r n i n g m a c h i n e t h a t c a n b e u s e d , f o r e x a m p l e , i n

r e a l - t i m e c o n t r o l a p p l i c a t i o n s , s u c h a s r o b o t n a v i g a t i o n .

T h e F A S T l e a r n i n g s y s t e m w a s c o n c e i v e d t o h a n d l e t h e p r o b l e m o f d y n a m i c c a t -

e g o r i z a t i o n o r o n l i n e c l u s t e r i n g . I n t h i s t h e s i s , w e a r e i n t e r e s t e d i n t w o d i e r e n t c a t -

e g o r i z a t i o n t a s k s : i n t h e r s t t a s k , r e l a t e d t o i m a g e p r o c e s s i n g , t h e p r o c e s s o f c o l o r

c a t e g o r i z a t i o n i s u s e d f o r i m a g e s e g m e n t a t i o n , w h i l e i n t h e s e c o n d t a s k , r e l a t e d t o n e u -

r o c o n t r o l , a n a u t o n o m o u s i n t e l l i g e n t s y s t e m s e l f - c a t e g o r i z e s o r c l u s t e r s i t s s e n s o r

r e a d i n g s i n o r d e r t o i n t e g r a t e t h e r e l e n t l e s s b o m b a r d m e n t o f s i g n a l s c o m i n g f r o m t h e

i i i



i v

e n v i r o n m e n t i . e . , i t s s e n s a t i o n s . I n t h i s s e c o n d s y s t e m , a d i e r e n t l e a r n i n g p r o c e s s h a d

t o b e c o n s i d e r e d t o a l l o w t h e s y s t e m t o g e n e r a t e b e h a v i o r a l r e s p o n s e s a s a f u n c t i o n o f

i t s s e n s a t i o n s . I n d e e d , o t h e r t y p e s o f l e a r n i n g , s u c h a s r e i n f o r c e m e n t l e a r n i n g , s e e m t o

b e e s s e n t i a l t o l e a r n t h r o u g h i n t e r a c t i o n s w i t h t h e e n v i r o n m e n t .

W e h a v e u s e d t h i s l a t t e r p a r a d i g m t o l e a r n g a m e s t r a t e g i e s a n d s o l v e M a r k o v i a n

a n d n o n - M a r k o v i a n m a z e t a s k s . F i n a l l y , w e c o m b i n e d t h e c a p a b i l i t i e s o f t h e F A S T n e u -

r a l a r c h i t e c t u r e w i t h r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a n d d e v e l o p e d a n e u r o c o n t r o l l e r

a r c h i t e c t u r e , w h i c h w e t e s t e d w i t h t h e i n v e r t e d p e n d u l u m p r o b l e m , a n d t h e n u s e d i n a

n a v i g a t i o n l e a r n i n g t a s k w i t h a n a u t o n o m o u s m o b i l e r o b o t . F i n a l l y , w e d e v i s e d a d i g i t a l

i m p l e m e n t a t i o n o f t h e s e n e u r o c o n t r o l l e r s a n d d e v e l o p e d a n F P G A b o a r d t o c o n t r o l a n

o - t h e - s h e l f m i n i a t u r i z e d m o b i l e r o b o t .



R s u m

L

e s r s e a u x n e u r o m i m t i q u e s , o u t i l s d e c a l c u l m a s s i v e m e n t p a r a l l l e s i n s p i r s p a r

l ' t u d e d u s y s t m e n e r v e u x , e x p l o i t e n t u n n o u v e a u p a r a d i g m e d a n s l e q u e l l ' a p -

p r e n t i s s a g e , p a r l ' e x e m p l e o u p a r i n t e r a c t i o n , r e m p l a c e l a p r o g r a m m a t i o n . I l s s o n t

e s s e n t i e l l e m e n t c o m p o s s d ' u n i t s d e t r a i t e m e n t l m e n t a i r e s o u n e u r o n e s i n t e r c o n n e c -

t e s s e l o n u n e c e r t a i n e t o p o l o g i e .

L ' a p p r o c h e p r d o m i n a n t e d a n s l e d o m a i n e d e s r s e a u x d e n e u r o n e s a r t i c i e l s c o n -

s i s t e d n i r u n e t o p o l o g i e , p u i s u t i l i s e r u n e b a s e d e d o n n e s p o u r e n t r a n e r l e s y s -

t m e e n e x p l o i t a n t u n a l g o r i t h m e d ' a p p r e n t i s s a g e p e r m e t t a n t u n e m o d i c a t i o n d e l a

d y n a m i q u e d e s i n t e r c o n n e x i o n s . U n e f o i s l e p r o c e s s u s d ' e n t r a n e m e n t a c h e v , l e r s e a u

e s t g e t d o n c p e u t t r e c o n s i d e r c o m m e u n s y s t m e a p p r i s .

C e t t e a p p r o c h e n e c o n v i e n t c e p e n d a n t p a s d e s a p p l i c a t i o n s o l a b a s e d ' e n t r a n e -

m e n t n ' e s t q u e p a r t i e l l e m e n t c o n n u e o u s u s c e p t i b l e d ' v o l u e r a u c o u r s d u t e m p s . D a n s

d e t e l l e s s i t u a t i o n s , l e r s e a u d o i t p o u v o i r a p p r e n d r e t o u t m o m e n t d e n o u v e l l e s d o n -

n e s , t o u t e n p r s e r v a n t l e s c o n n a i s s a n c e s a c q u i s e s . L e s s y s t m e s a p p r e n t i s s a g e c o n t i n u

r s o l v e n t c e p r o b l m e . I l s s u b i s s e n t u n e a d a p t a t i o n l o c a l e e t m o d i e n t d y n a m i q u e m e n t

l e u r t o p o l o g i e .

L a m a j o r i t d e s s y s t m e s n e u r o m i m t i q u e s e s t i m p l a n t e e n l o g i c i e l d a n s d e s a r c h i -

t e c t u r e s m o n o o u m u l t i p r o c e s s e u r s n e p o s s d a n t a u c u n m a t r i e l d d i c e t y p e d e

p r o b l m e . L e m a t r i e l r e c o n g u r a b l e c o m b i n e l e s a v a n t a g e s d e s c i r c u i t s d d i s A S I C

e t d u l o g i c i e l : p r o t o t y p a g e r a p i d e , e x i b i l i t o u o b t e n t i o n d e c i r c u i t s h a u t e s p e r f o r -

m a n c e s .

L a c o n c e p t i o n d e r s e a u x n e u r o m i m t i q u e s s t r u c t u r e a d a p t a b l e d o t s d e c a p a c i t s

d ' a p p r e n t i s s a g e c o n s t i t u e l ' o b j e c t i f p r i n c i p a l d e c e t t e t h s e . P a r l e p a s s , d e s c h e r c h e u r s

o n t d j d v e l o p p s p a r e i l s s y s t m e s . C e p e n d a n t , l e u r s m o d l e s r e q u i r e n t u n e c h a r g e

d e c a l c u l c o n s i d r a b l e e t n e s ' i m p l a n t e n t q u e d i c i l e m e n t e n m a t r i e l . P o u r r e m d i e r

c e p r o b l m e , n o u s p r o p o s o n s l ' a r c h i t e c t u r e F A S T F l e x i b l e A d a p t a b l e - S i z e T o p o l o g y .

L e r s e a u F A S T p e r m e t l e t r a i t e m e n t d e s p r o b l m e s d e d i s c r i m i n a t i o n d y n a m i q u e

e t d e c l u s t e r i n g e n l i g n e . D a n s c e t t e t h s e , n o u s s o m m e s p a r t i c u l i r e m e n t i n t r e s s s

p a r d e u x t c h e s d i r e n t e s : l a p r e m i r e c o n s i s t e s e g m e n t e r d e s i m a g e s l ' a i d e

d u p r o c e s s u s d e d i s c r i m i n a t i o n d e c o u l e u r s . L a s e c o n d e e s t l i e a u d o m a i n e d u

n e u r o c o n t r l e . N o u s e x p l o i t o n s l e p r i n c i p e d e c l u s t e r i n g p o u r p e r m e t t r e u n s y s t m e

a u t o n o m e i n t e l l i g e n t d ' t a b l i r d e s r e l a t i o n s e n t r e l e s d i r e n t e s a c t i v a t i o n s d e s e s

c a p t e u r s s e n s a t i o n s o u s t i m u l i p r o v e n a n t d e s o n e n v i r o n n e m e n t . U n m c a n i s m e

d ' a p p r e n t i s s a g e p a r r e n f o r c e m e n t p e r m e t e n s u i t e l ' a s s o c i a t i o n d ' u n c o m p o r t e m e n t

p a r t i c u l i e r c h a c u n e d e s s e n s a t i o n s .

v



v i

N o u s a v o n s u t i l i s l ' a p p r e n t i s s a g e r e n f o r c p o u r l a r e c h e r c h e d e s t r a t g i e s d a n s l e d o -

m a i n e d e s j e u x e t p o u r l a n a v i g a t i o n d a n s d e s l a b y r i n t h e s m a r k o v i e n s e t n o n m a r k o v i e n s .

N o u s a v o n s e n s u i t e c o u p l l ' a r c h i t e c t u r e F A S T d e s s y s t m e s e x p l o i t a n t l ' a p p r e n t i s s a g e

r e n f o r c a n d ' o b t e n i r d e s n e u r o c o n t r l e u r s r s o l v a n t l e s p r o b l m e s d u p e n d u l e i n v e r s

e t d e l a n a v i g a t i o n d ' u n r o b o t m o b i l e a u t o n o m e . F i n a l e m e n t , n o u s a v o n s i m p l a n t u n

n e u r o c o n t r l e u r l ' a i d e d e c i r c u i t s p r o g r a m m a b l e s e t d v e l o p p u n e c a r t e F P G A p o u r

l e p i l o t a g e d ' u n r o b o t m o b i l e d i s p o n i b l e d a n s l e c o m m e r c e .



A c k n o w l e d g m e n t s

T o a l l m y t e a c h e r s . . .

A l t h o u g h , f r o m a p r o b a b i l i s t i c p o i n t o f v i e w , t h e t e x t o f t h i s t h e s i s c o u l d b e o b t a i n e d

b y p u r e c h a n c e b y a n i n n i t e n u m b e r o f m o n k e y s , f o r e x a m p l e , s u c h a n a p p r o a c h m i g h t

w e l l h a v e r r e q u i r e d m i l l i o n s o f y e a r s . I n s t e a d , t h i s t h e s i s i s s i m p l y t h e c u l m i n a t i o n

o f a f e w y e a r s o f l e a r n i n g , a n d i t i s n o t b y c h a n c e t h a t i t d e a l s w i t h l e a r n i n g . T h i s

l e a r n i n g p r o c e s s a s b e e n p o s s i b l e t h a n k s t o m a n y p e o p l e t h a t b e l i e v e d i n m e a n d k e p t

o n t e a c h i n g m e m a n y t h i n g s a b o u t l i f e , a b o u t s c i e n c e a n d e n g i n e e r i n g , a b o u t l e a r n i n g . I

a m p r o f o u n d l y g r a t e f u l t o a l l m y t e a c h e r s a n d i t i s t h e r e f o r e o n l y t t i n g t h a t I d e d i c a t e

t h i s t h e s i s t o t h e m .

F i r s t o f a l l , I a m i m m e n s e l y g r a t e f u l t o m y p a r e n t s B e r n a r d o a n d A l i c i a , a n d t o m y

f a m i l y , p a r t i c u l a r l y t o m y a u n t E s p e r a n z a . T h e y h a v e a l w a y s s u p p o r t e d m e a n d t a u g h t

m e t h e t h i n g s t h a t m o s t m a t t e r i n l i f e . M o r e o v e r , I a m v e r y g r a t e f u l t o a l l o f t h o s e t h a t

m o t i v a t e d a n d e n c o u r a g e d m e t o p u r s u e a l i f e i n a c a d e m i a .

I a m v e r y g r a t e f u l t o m y b r o t h e r f o r h i s m u s i c , w h i c h h e l p e d m e c o n c e n t r a t e , r e l a x ,

a n d e v e n h a v e n e w i d e a s . I a l s o t h a n k v e r y m u c h m y s i s t e r f o r i n t r o d u c i n g m e t o v e r y

i n t e r e s t i n g i d e a s i n t h e e l d o f p s y c h o l o g y .

I t h a n k B e a t r i z H e l e n a , w h o s u p p o r t e d m e a l w a y s , p a r t o o k o f m y a c h i e v e m e n t s , a n d

e n c o u r a g e d m e w h e n t h i n g s d i d n o t g o s o w e l l . W e h a v e b e e n t o g e t h e r , d u r i n g t h e p a s t

f e w y e a r s , h e l p i n g e a c h o t h e r d i s c o v e r a n d l e a r n a b o u t l i f e . I a m v e r y g r a t e f u l t o h e r .

I t h a n k E d u a r d o S a n c h e z , a g o o d f r i e n d a n d a m e n t o r . H e a n d h i s f a m i l y w e l c o m e d

m e i n t o t h e i r h o u s e w h e n I c a m e t o S w i t z e r l a n d a n d t a u g h t m e m u c h a b o u t l i v i n g i n

t h i s c o u n t r y . I a m v e r y g r a t e f u l t o t h e m . E d u a r d o i s n o t b y c h a n c e o n e o f t h e e x p e r t s

f o r t h i s t h e s i s : h e w a s a l w a y s b y m y s i d e a n d r e a d y t o t a l k a n d t o h e l p m e n d w a y s t o

o v e r c o m e p r o b l e m s i n m y r e s e a r c h . I t h a n k h i m v e r y m u c h f o r t a k i n g t i m e t o g i v e m e

a d v i c e o n m a n y o c c a s i o n s a n d t o t a l k a b o u t m a n y o t h e r i n t e r e s t i n g s c i e n t i c t o p i c s .

I t h a n k P r o f e s s o r D a n i e l M a n g e f o r r e c e i v i n g m e i n h i s g r e a t l a b o r a t o r y a n d f o r

a c c e p t i n g t o d i r e c t t h i s t h e s i s . I c a n n o t d e s c r i b e h o w f a s c i n a t i n g m y e x p e r i e n c e w a s

a t t h e L S L . T h e t h i n g s I h a v e l e a r n e d d u r i n g t h e p a s t f e w y e a r s h a v e c h a n g e d m y l i f e .

M o r e o v e r , I h a v e l e a r n e d m a n y t h i n g s f r o m D a n i e l , s u c h a s o r d e r , p r a g m a t i s m , a n d a l l

t h o s e s m a l l d e t a i l s t h a t b r i n g s u c c e s s t o a r e s e a r c h g r o u p . F i n a l l y , I t h a n k h i m f o r

e n t r u s t i n g m e w i t h v e r y c h a l l e n g i n g t a s k s .

I a m v e r y g r a t e f u l t o M a r l y s e T a r i c , o u r l a b ' s s e c r e t a r y , f o r a l l h e r h e l p a n d h e r

f r i e n d l i n e s s .

I a m g r a t e f u l t o P i e r r e M a r c h a l , w h o , b e y o n d r e p r e s e n t i n g t h e C e n t r e S u i s s e d ' E l e c -

t r o n i q u e e t d e M i c r o t e c n i q u e C S E M , t h e r e s e a r c h c e n t e r t h a t s u p p o r t e d t h i s r e s e a r c h ,

v i i



v i i i

w a s v e r y i n t e r e s t e d i n m y r e s e a r c h a n d w a s p r e s e n t t h r o u g h o u t i t s d e v e l o p m e n t . I t h a n k

h i m f o r h i s c o n t r i b u t i o n a n d f r i e n d s h i p .

M y p r o f o u n d a c k n o w l e d g m e n t s t o t h e e x p e r t s o f t h i s t h e s i s , P r o f . I . A l e k s a n d e r ,

P r o f . J . C a b e s t a n y , P r o f . W . G e r s t n e r , D r . P . M a r c h a l , a n d P r o f . E . S a n c h e z , a n d P r o f .

J . - D . N i c o u d , p r e s i d e n t o f t h e j u r y , f o r t h e i r c a r e f u l r e a d i n g a n d u s e f u l s u g g e s t i o n s .

I t h a n k a l l m e m b e r s o f t h e l a b o r a t o r y f o r m a k i n g m y s t a y v e r y p l e a s a n t a n d f r u i t f u l .

I a m p a r t i c u l a r l y g r a t e f u l t o M o s h e S i p p e r f o r h i s h e l p d u r i n g t h e r s t s t a g e s o f m y t h e s i s ,

f o r o u r f r u i t f u l d i s c u s s i o n s , a n d f o r h i s a d v i c e . I a m p r o f o u n d l y g r a t e f u l t o G i a n l u c a

T e m p e s t i , J e a n - L u c B e u c h a t , a n d H e c t o r F a b i o R e s t r e p o f o r t h e i r p r o o f r e a d i n g o f t h i s

t h e s i s , t h e i r c o m m e n t s , a n d t h e i r s u g g e s t i o n s . I t h a n k v e r y m u c h A n d r B a d e r t s c h e r

f o r h i s f r i e n d l i n e s s , f o r s h a r i n g h i s r e m a r k a b l e p i c t u r e s o f a n i m a l s a n d l a n d s c a p e s , a n d

f o r h i s p r a c t i c a l a d v i c e o n r e a l - w o r l d p r o b l e m s . H i s o u t s t a n d i n g t e c h n i c a l s k i l l s a n d

t h o s e o f G e o r g e s V a u c h e r f r o m t h e A C O R T w e r e e s s e n t i a l f o r t h e i m p l e m e n t a t i o n o f t h e

r o b o t ' s n e u r o c o n t r o l l e r . I t h a n k C a r l o s A n d r s P e a f o r o u r u s e f u l d i s c u s s i o n s a b o u t

c o m p u t a t i o n a l i n t e l l i g e n c e a n d m a n y o t h e r s u b j e c t s . I t h a n k H e c t o r F a b i o R e s t r e p o f o r

h i s u n c o n d i t i o n a l h e l p . I t h a n k J e a n - M i c h e l P u i a t t i p a r t i c u l a r l y f o r h i s f r i e n d s h i p a n d

h e l p . I a m a l s o g r a t e f u l t o D o m i n i k M a d o n , J a c q u e s - O l i v i e r H a e n n i , a n d C h r i s t i a n I s e l i

f o r t h e i r c o m p e t e n t a d m i n i s t r a t i o n o f o u r s y s t e m a n d f o r a l l t h e i r h e l p . I t h a n k E m e k a

M o s a n y a , S e r g e D u r a n d , a n d F l a v i o R a m p o g n a f o r t h e i r h e l p o n p r a c t i c a l i s s u e s r e l a t e d

t o F P G A d e v i c e s . I t h a n k J e a n - L u c B e u c h a t f o r s h a r i n g h i s l o v e f o r m o u n t a i n s , g l a c i e r s ,

w a t e r f a l l s , a n d L a t e x a n d x g . I t h a n k P r o f . M a r c o T o m a s s i n i f o r e n t r u s t i n g m e w i t h

v e r y c h a l l e n g i n g j o b s . I t h a n k M a t h i e u C a p c a r r e r e f o r s h a r i n g h i s l o v e f o r p h i l o s o p h y

a n d f o r t a x i n g m y F r e n c h .

I a m v e r y g r a t e f u l t o a l l t h o s e f r i e n d s w h o w e r e l i k e a f a m i l y t h r o u g h o u t t h e l a s t

f e w y e a r s . S o m e o f t h e m l i v i n g i n S w i t z e r l a n d , o t h e r s k e e p i n g i n t o u c h f r o m C o l o m b i a ,

S p a i n , a n d t h e U S A . I t h a n k t h e m n o t o n l y f o r t h e i r f r i e n d s h i p a n d c a m a r a d e r i e b u t

a l s o f o r o u r i n t e r e s t i n g d i s c u s s i o n s a b o u t e n g i n e e r i n g , s c i e n c e , p o l i t i c s , r e l i g i o n , e c o n o m y ,

a n d e d u c a t i o n . O u r d a i l y d i s c u s s i o n s a t d i n n e r t i m e , d u r i n g t h e r s t y e a r s a t t h e E P F L ,

w e r e p a r t i c u l a r l y e n r i c h i n g . F i n a l l y , I t h a n k t h e m f o r s h a r i n g v e r y p l e a s a n t m o m e n t s i n

t h e m o u n t a i n s , a n d e x q u i s i t e g a s t r o n o m i c e x p e r i e n c e s .

I a m a l s o g r a t e f u l t o J a i m e V e l a s c o , w h o i n t r o d u c e d m e t o t h e w o r l d o f d i g i t a l d e s i g n

a n d F P G A s , t o G a b r i e l J . G o m e z f o r i n t r o d u c i n g m e t o t h e w o n d e r f u l w o r l d o f a r t i c i a l

n e u r a l n e t w o r k s , a n d t o G o n z a l o U l l o a a n d J e r r y d e R a a d w h o c o n v i n c e d m e t o c o m e t o

S w i t z e r l a n d a n d w i t h w h o m I s t a r t e d m y p r o f e s s i o n a l l i f e .

I t h a n k C h r i s t o f T e u s c h e r a n d Y u r i L p e z d e M e n e s e s f o r t h e i r h e l p f u l s u g g e s t i o n s

o n t h e i m p l e m e n t a t i o n o f t h e F P G A b o a r d , a n d D r . P a o l o I e n n e , D r . D a r i o F l o r e a n o ,

D r . J o s d e l R . M i l l a n , P r o f . R i c h a r d S u t t o n , P r o f . C h a r l e s A n d e r s o n , D r . C r i s t o p h e r

M o l i n a , P r o f . H e n r i k L u n d , a n d P r o f . D o m i n g o B e n i t e z , f o r t h e i r h e l p f u l c o m m e n t s

t h r o u g h o u t m y r e s e a r c h . I t h a n k t h e C o m m i s s i o n f d r a l e d e s b o u r s e s p o u r t u d i a n t s

t r a n g e r s f o r i t s n a n c i a l s u p p o r t d u r i n g m y r s t t w o y e a r s i n S w i t z e r l a n d , a n d t h e

C e n t r e S w i s s d ' E l e c t r o n i q u e e t d e M i c r o t e c h n i q u e C S E M a n d t h e E P F L f o r s u p p o r t i n g

m e d u r i n g t h e l a s t t h r e e y e a r s . T h e r e a r e f a r t o o m a n y m o r e p e o p l e t o t h a n k i n d i v i d u a l l y

b u t t h e y c a n b e a s s u r e d o f m y p r o f o u n d g r a t i t u d e .



C o n t e n t s

A b s t r a c t i i i

R s u m v

A c k n o w l e d g m e n t s v i i

1 I n t r o d u c t i o n 1

1 . 1 T h e P O E m o d e l . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1 . 2 A i m s o f t h e t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1 . 3 O u t l i n e o f t h e t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2 A r t i c i a l N e u r a l N e t w o r k s 7

2 . 1 B i o l o g i c a l n e u r a l n e t w o r k s . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 . 2 A r t i c i a l n e u r a l n e t w o r k s . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2 . 3 A r t i c i a l n e u r o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2 . 3 . 1 I n p u t - c o r r e l a t i o n n e u r o n s . . . . . . . . . . . . . . . . . . . . . . 1 0

2 . 3 . 2 W e i g h t l e s s n e u r o n s . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1

2 . 3 . 3 S p i k i n g n e u r o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2

2 . 4 A r t i c i a l n e u r a l n e t w o r k t o p o l o g i e s . . . . . . . . . . . . . . . . . . . . . 1 2

2 . 5 L e a r n i n g i n a r t i c i a l n e u r a l n e t w o r k s . . . . . . . . . . . . . . . . . . . . 1 3

2 . 5 . 1 S u p e r v i s e d l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

2 . 5 . 2 R e i n f o r c e m e n t l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . 1 5

2 . 5 . 3 U n s u p e r v i s e d l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . 1 5

2 . 6 A r t i c i a l n e u r a l n e t w o r k t o p o l o g y a d a p t a t i o n . . . . . . . . . . . . . . . 1 6

2 . 6 . 1 E v o l u t i o n a r y d e s i g n o f a r t i c i a l n e u r a l n e t w o r k s . . . . . . . . . . 1 7

2 . 6 . 2 O n t o g e n i c a r t i c i a l n e u r a l n e t w o r k s . . . . . . . . . . . . . . . . 1 8

2 . 7 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8

3 N e u r a l H a r d w a r e 1 9

3 . 1 N e u r o m o r p h i c a n d f u n c t i o n a l a r t i c i a l n e u r a l n e t w o r k s . . . . . . . . . . 2 0

3 . 2 D i g i t a l n e u r a l h a r d w a r e . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1

3 . 2 . 1 D i g i t a l n e u r o c o m p u t e r s . . . . . . . . . . . . . . . . . . . . . . . . 2 1

3 . 2 . 2 S p e c i a l - p u r p o s e d i g i t a l n e u r a l h a r d w a r e . . . . . . . . . . . . . . . 2 2

3 . 3 D a t a r e p r e s e n t a t i o n f o r c o m p u t a t i o n i n a r t i c i a l n e u r a l n e t w o r k s . . . . . 2 2

3 . 3 . 1 P o s i t i o n a l r e p r e s e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . . 2 2

3 . 3 . 2 P r o b a b i l i s t i c r e p r e s e n t a t i o n . . . . . . . . . . . . . . . . . . . . . 2 3

i x



x

3 . 3 . 3 R e d u n d a n t r e p r e s e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . 2 4

3 . 4 A r c h i t e c t u r e s f o r d e d i c a t e d n e u r a l h a r d w a r e . . . . . . . . . . . . . . . . 2 5

3 . 5 R e c o n g u r a b l e n e u r a l h a r d w a r e . . . . . . . . . . . . . . . . . . . . . . . 2 6

3 . 5 . 1 F i e l d - p r o g r a m m a b l e g a t e a r r a y s F P G A . . . . . . . . . . . . . . 2 7

3 . 5 . 2 R a p i d p r o t o t y p i n g . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9

3 . 5 . 3 D e n s i t y e n h a n c e m e n t a n d a c c e l e r a t i o n . . . . . . . . . . . . . . . 3 0

3 . 5 . 4 T o p o l o g y a d a p t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . 3 0

3 . 6 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1

4 A d a p t i v e C a t e g o r i z a t i o n : f r o m B i o l o g y t o H a r d w a r e 3 3

4 . 1 N e u r a l p l a s t i c i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4

4 . 2 A d a p t i v e c a t e g o r i z a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6

4 . 3 T h e A d a p t i v e R e s o n a n c e T h e o r y A R T . . . . . . . . . . . . . . . . . . 3 7

4 . 3 . 1 A R T - b a s e d a r t i c i a l n e u r a l n e t w o r k m o d e l s . . . . . . . . . . . . 3 8

4 . 3 . 2 A R T a n d c o n v e n t i o n a l c l u s t e r i n g a l g o r i t h m s . . . . . . . . . . . . 3 9

4 . 4 G A R : G r o w a n d R e p r e s e n t m o d e l . . . . . . . . . . . . . . . . . . . . . . 4 2

4 . 4 . 1 V a r i a b l e v i g i l a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2

4 . 4 . 2 P r u n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2

4 . 5 T h e F A S T n e u r a l a r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . 4 3

4 . 5 . 1 R e l a t e d w o r k . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4

4 . 5 . 2 F A S T l e a r n i n g a l g o r i t h m . . . . . . . . . . . . . . . . . . . . . . . 4 6

4 . 5 . 3 F A S T d y n a m i c s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0

4 . 5 . 4 F A S T d i g i t a l i m p l e m e n t a t i o n . . . . . . . . . . . . . . . . . . . . 5 3

4 . 5 . 5 R e s u l t s a n d a p p l i c a t i o n s . . . . . . . . . . . . . . . . . . . . . . . 5 7

4 . 5 . 5 . 1 C o l o r i m a g e s e g m e n t a t i o n . . . . . . . . . . . . . . . . . 5 7

4 . 5 . 5 . 2 N e u r o c o n t r o l l e r a d a p t a t i o n . . . . . . . . . . . . . . . . 6 0

4 . 6 S p a t i o t e m p o r a l F A S T c l u s t e r i n g . . . . . . . . . . . . . . . . . . . . . . . 6 1

4 . 7 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1

5 R e i n f o r c e m e n t L e a r n i n g : f r o m B i o l o g y t o H a r d w a r e 6 3

5 . 1 L e a r n i n g t o p r e d i c t r e w a r d s . . . . . . . . . . . . . . . . . . . . . . . . . 6 5

5 . 2 R e i n f o r c e m e n t l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 6

5 . 3 N e u r o c o n t r o l a n d M a r k o v d e c i s i o n p r o c e s s e s . . . . . . . . . . . . . . . . 6 7

5 . 4 T e m p o r a l - d i e r e n c e T D l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . 6 8

5 . 4 . 1 Q - l e a r n i n g a n d S A R S A l e a r n i n g . . . . . . . . . . . . . . . . . . . 6 9

5 . 4 . 2 A d a p t i v e h e u r i s t i c c r i t i c A H C l e a r n i n g . . . . . . . . . . . . . . 7 0

5 . 4 . 3 E x p l o r a t i o n v s . e x p l o i t a t i o n . . . . . . . . . . . . . . . . . . . . . 7 1

5 . 5 L e a r n i n g g a m e s t r a t e g i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2

5 . 5 . 1 T h e g a m e o f B l a c k j a c k . . . . . . . . . . . . . . . . . . . . . . . . 7 3

5 . 5 . 2 E x a m p l e o f l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . 7 4

5 . 5 . 3 E x p e r i m e n t a l r e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . 7 5

5 . 6 T D l e a r n i n g a n d m o d e l - b a s e d m e t h o d s . . . . . . . . . . . . . . . . . 7 7

5 . 6 . 1 S A R S A : r e i n f o r c e m e n t l e a r n i n g w i t h e l i g i b i l i t y t r a c e s . . . . . 7 7

5 . 6 . 2 D y n a - S A R S A : a m o d e l - b a s e d r e i n f o r c e m e n t l e a r n i n g . . . . . . . 7 8

5 . 7 M a z e n a v i g a t i o n t a s k s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 9



x i

5 . 7 . 1 M a r k o v i a n m a z e l e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . 8 0

5 . 7 . 2 P a r t i a l l y o b s e r v a b l e m a z e n a v i g a t i o n t a s k s . . . . . . . . . . . . . 8 1

5 . 8 A p p r o x i m a t i o n o f v a l u e f u n c t i o n s . . . . . . . . . . . . . . . . . . . . . . 8 2

5 . 8 . 1 T i l e a n d c o a r s e c o d i n g . . . . . . . . . . . . . . . . . . . . . . . . 8 2

5 . 8 . 2 M u l t i - L a y e r P e r c e p t r o n s M L P s . . . . . . . . . . . . . . . . . . 8 3

5 . 8 . 3 L o c a l f u n c t i o n a p p r o x i m a t o r s . . . . . . . . . . . . . . . . . . . . 8 4

5 . 8 . 4 C l u s t e r i n g t e c h n i q u e s . . . . . . . . . . . . . . . . . . . . . . . . . 8 4

5 . 9 T h e i n v e r t e d p e n d u l u m p r o b l e m . . . . . . . . . . . . . . . . . . . . . . . 8 5

5 . 9 . 1 T h e b o x e s - A H C n e u r o c o n t r o l l e r . . . . . . . . . . . . . . . . . . . 8 6

5 . 9 . 2 F u n c t i o n a p p r o x i m a t i o n b y a d a p t i v e c l u s t e r i n g . . . . . . . . . . . 8 7

5 . 9 . 3 T h e F A S T - A H C n e u r o c o n t r o l l e r . . . . . . . . . . . . . . . . . . . 8 8

5 . 9 . 4 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 8

5 . 1 0 F P G A i m p l e m e n t a t i o n o f n e u r o n - l i k e a d a p t i v e e l e m e n t s . . . . . . . . . . 9 0

5 . 1 0 . 1 T h e n e u r o n - l i k e a d a p t i v e e l e m e n t s . . . . . . . . . . . . . . . . . . 9 1

5 . 1 0 . 2 T h e n e u r o c o n t r o l l e r . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3

5 . 1 1 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 4

6 A N e u r o c o n t r o l l e r A r c h i t e c t u r e f o r A u t o n o m o u s R o b o t s 9 5

6 . 1 A u t o n o m o u s r o b o t n a v i g a t i o n . . . . . . . . . . . . . . . . . . . . . . . . 9 7

6 . 1 . 1 T h e n a v i g a t i o n t a s k . . . . . . . . . . . . . . . . . . . . . . . . . . 9 7

6 . 1 . 2 T h e e x p e r i m e n t a l s e t u p . . . . . . . . . . . . . . . . . . . . . . . 9 7

6 . 2 L e a r n i n g i n a u t o n o m o u s r o b o t s . . . . . . . . . . . . . . . . . . . . . . . 9 9

6 . 2 . 1 R e l a t e d w o r k . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 9

6 . 2 . 2 H a r d w a r e f o r l e a r n i n g r o b o t s . . . . . . . . . . . . . . . . . . . . . 1 0 0

6 . 3 N e u r o c o n t r o l l e r a r c h i t e c t u r e f o r a u t o n o m o u s r o b o t n a v i g a t i o n . . . . . . 1 0 2

6 . 3 . 1 A d a p t i v e c a t e g o r i z a t i o n m o d u l e . . . . . . . . . . . . . . . . . . . 1 0 2

6 . 3 . 2 R e i n f o r c e m e n t l e a r n i n g m o d u l e . . . . . . . . . . . . . . . . . . . 1 0 3

6 . 3 . 3 D i s c u s s i o n a n d r e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . 1 0 3

6 . 3 . 3 . 1 A d a p t i v e c a t e g o r i z a t i o n . . . . . . . . . . . . . . . . . . 1 0 4

6 . 3 . 3 . 2 L e a r n i n g b y i n t e r a c t i o n . . . . . . . . . . . . . . . . . . 1 0 7

6 . 4 F P G A n e u r o c o n t r o l l e r d e s i g n . . . . . . . . . . . . . . . . . . . . . . . . 1 0 9

6 . 4 . 1 T h e p r i n t e d c i r c u i t b o a r d s . . . . . . . . . . . . . . . . . . . . . . 1 1 0

6 . 4 . 2 N e u r o c o n t r o l l e r d e s i g n . . . . . . . . . . . . . . . . . . . . . . . . 1 1 0

6 . 5 N e u r o c o n t r o l l e r a r c h i t e c t u r e w i t h s h o r t - t e r m m e m o r i e s . . . . . . . . . . 1 1 2

6 . 6 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 4

7 C o n c l u s i o n s 1 1 7

7 . 1 O r i g i n a l c o n t r i b u t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 8

7 . 2 C h a l l e n g e s a n d f u r t h e r r e s e a r c h d i r e c t i o n s . . . . . . . . . . . . . . . . . 1 1 9

7 . 2 . 1 E x t e n d i n g F A S T . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 9

7 . 2 . 2 H a r d w a r e r e c o n g u r a b i l i t y . . . . . . . . . . . . . . . . . . . . . . 1 2 0

7 . 2 . 3 B i o - i n s p i r e d h a r d w a r e d u a l i s m . . . . . . . . . . . . . . . . . . . . 1 2 0

B i b l i o g r a p h y 1 4 0

C u r r i c u l u m V i t 1 4 1



C h a p t e r 1

I n t r o d u c t i o n

EO

P

N a t u r e d o e s n o t h i n g u s e l e s s l y .

- A r i s t o t l e

H

u m a n s h a v e a l w a y s b e e n f a s c i n a t e d b y n a t u r e . W e f e e l a t r e m e n d o u s c u r i o s i t y t o

u n d e r s t a n d n a t u r e a n d s o m e h o w t r y t o c o p y w h a t h u m a n s c a n n o t d o , b u t o t h e r

s p e c i e s c a n . H u m a n s h a v e t h u s d e v i s e d a r t i c i a l a r t i f a c t s t o t r y t o e n h a n c e

t h e i r o w n c a p a b i l i t i e s : t o l e t h u m a n s m o v e f a s t e r , s e e f a r t h e r , c o m m u n i c a t e o v e r l a r g e

d i s t a n c e s , e x p l o r e t h e o c e a n d e p t h s , a n d e v e n y . H o w e v e r , i n s o m e c a s e s , c o p y i n g n a t u r e

h a s n o t b e e n a v e r y f r u i t f u l a p p r o a c h : w h e n h u m a n s a b a n d o n e d t h e i d e a o f w i n g s , t h e y

m a n a g e d t o y f a s t e r t h a n b i r d s .

W h a t w e s h o u l d d o i n c e r t a i n c a s e s i s t h e r e f o r e t o c o n s i d e r n a t u r e a s a s o u r c e o f

i n s p i r a t i o n a n d , b a s i c a l l y , t r y t o u n d e r s t a n d a n d c o n c e p t u a l i z e t h e d e s i r e d o v e r a l l f e a -

t u r e o r b e h a v i o r . L i v i n g o r g a n i s m s , f o r e x a m p l e , a r e c o m p l e x s y s t e m s e x h i b i t i n g a r a n g e

o f c h a r a c t e r i s t i c s v e r y i n t e r e s t i n g t o e n g i n e e r s , s u c h a s e v o l u t i o n , f a u l t t o l e r a n c e , a n d

a d a p t a t i o n . C o n s e q u e n t l y , e n g i n e e r s h a v e t r i e d t o d e v e l o p b i o - i n s p i r e d c o m p u t i n g m a -

c h i n e s b y d r a w i n g t h e i r i n s p i r a t i o n f r o m t h r e e l e v e l s o f o r g a n i z a t i o n , o b s e r v e d i n n a t u r e :

p h y l o g e n y , o n t o g e n y , a n d e p i g e n e s i s , f e a t u r i n g t h e c a p a b i l i t i e s o f e v o l u t i o n , g r o w t h , a n d

a d a p t a t i o n , r e s p e c t i v e l y . I n a n a l o g y t o n a t u r e , a s p a c e o f b i o - i n s p i r e d h a r d w a r e s y s t e m s

h a s b e e n d e n e d a l o n g t h e s e t h r e e a x e s o f o r g a n i z a t i o n , g i v i n g r i s e t o t h e s o - c a l l e d P O E

m o d e l 1 9 3 .

T h e f o c u s o f t h i s t h e s i s c a n b e f o u n d a l o n g t h e e p i g e n e t i c a x i s o f t h e P O E m o d e l .

W e a i m t o d e v e l o p b i o - i n s p i r e d d i g i t a l s y s t e m s e n d o w e d w i t h t h e c a p a b i l i t y o f a d a p t a t i o n

l e a r n i n g b y e x p l o i t i n g t h e o v e r a l l p r i n c i p l e s o f o p e r a t i o n o f t h e b r a i n a n d t h e n e r v o u s

s y s t e m s . I n p a r t i c u l a r , w e h a v e b e e n m o t i v a t e d b y t h e i d e a o f d e v e l o p i n g d i g i t a l a r t i c i a l

n e u r a l n e t w o r k s w i t h o n l i n e l e a r n i n g c a p a b i l i t i e s . W e a r g u e t h a t t r u e l e a r n i n g s y s t e m s

a d a p t t o p r o b l e m s b y c h a n g i n g t h e s t r e n g t h o f t h e i n t e r c o n n e c t i o n s b e t w e e n t h e i r c o m -

p u t a t i o n a l e l e m e n t s a s i s t h e c a s e i n m o s t n e u r a l n e t w o r k m o d e l s a n d b y d y n a m i c a l l y

r e c o n g u r i n g t h e i r s t r u c t u r e .

1



2 1 . I n t r o d u c t i o n

I n t h i s i n t r o d u c t o r y c h a p t e r , w e w i l l p r e s e n t a s h o r t d e s c r i p t i o n o f t h e P O E m o d e l t o

p l a c e t h e p r e s e n t t h e s i s w i t h i n t h e d o m a i n o f b i o - i n s p i r e d h a r d w a r e s y s t e m s S e c t i o n 1 . 1 .

W e w i l l t h e n i n t r o d u c e t h e m a i n g o a l s o f t h e t h e s i s S e c t i o n 1 . 2 , t o c o n c l u d e t h e c h a p t e r

w i t h a b r i e f o u t l i n e o f t h e o v e r a l l s t r u c t u r e o f t h e t h e s i s S e c t i o n 1 . 3 .

1 . 1 T h e P O E m o d e l

T h e P O E m o d e l o f b i o - i n s p i r e d h a r d w a r e s y s t e m s a s s u m e s t h e e x i s t e n c e o f t h r e e a x e s o f

o r g a n i z a t i o n o f l i f e : p h y l o g e n y , o n t o g e n y , a n d e p i g e n e s i s 1 9 3 .

P h y l o g e n y : T h e r s t a x i s c o n c e r n s t h e t e m p o r a l e v o l u t i o n o f t h e g e n e t i c p r o g r a m ,

t h e h a l l m a r k o f w h i c h i s t h e e v o l u t i o n o f s p e c i e s , o r p h y l o g e n y 4 8 . T h e m u l t i p l i -

c a t i o n o f l i v i n g o r g a n i s m s i s b a s e d u p o n t h e r e p r o d u c t i o n o f t h e g e n e t i c p r o g r a m

D N A , s u b j e c t t o a n e x t r e m e l y l o w e r r o r r a t e a t t h e i n d i v i d u a l l e v e l , s o a s t o

e n s u r e t h a t t h e i d e n t i t y o f t h e o s p r i n g r e m a i n s p r a c t i c a l l y u n c h a n g e d . M u t a t i o n

a s e x u a l r e p r o d u c t i o n o r m u t a t i o n a l o n g w i t h r e c o m b i n a t i o n s e x u a l r e p r o d u c -

t i o n g i v e r i s e t o t h e e m e r g e n c e o f n e w o r g a n i s m s . T h e p h y l o g e n e t i c m e c h a n i s m s

a r e f u n d a m e n t a l l y n o n d e t e r m i n i s t i c , w i t h t h e m u t a t i o n a n d r e c o m b i n a t i o n r a t e

p r o v i d i n g a m a j o r s o u r c e o f d i v e r s i t y . T h i s d i v e r s i t y i s i n d i s p e n s a b l e f o r t h e s u r -

v i v a l o f l i v i n g s p e c i e s , f o r t h e i r c o n t i n u o u s a d a p t a t i o n t o a c h a n g i n g e n v i r o n m e n t ,

a n d f o r t h e a p p e a r a n c e o f n e w s p e c i e s .

B i o - i n s p i r e d p h y l o g e n e t i c s y s t e m s i n c l u d e t h e s o - c a l l e d e v o l v a b l e s y s t e m s : s y s t e m s

t h a t , s t a r t i n g w i t h a s e t o f p o t e n t i a l s o l u t i o n s t o a p r o b l e m , m i m i c t h e p r o c e s s o f

r e p r o d u c t i o n t o g e n e r a t e p o t e n t i a l l y b e t t e r s o l u t i o n s a n d t h a t o f n a t u r a l s e l e c t i o n

t o k e e p t h e b e t t e r s o l u t i o n s a n d d i s c a r d t h e b a d o n e s . T h i s p r o c e s s h a s s e r v e d

a s t h e i n s p i r a t i o n f o r e n g i n e e r i n g t e c h n i q u e s l i k e g e n e t i c a l g o r i t h m s 8 7 , g e n e t i c

p r o g r a m m i n g 1 1 0 , e t c . T h e s e i d e a s h a v e b e e n t h e i n s p i r a t i o n f o r t h e d e v e l o p -

m e n t o f a n e v o l v i n g h a r d w a r e s y s t e m t h e F i r e y m a c h i n e i m p l e m e n t i n g o n l i n e

a u t o n o m o u s e v o l u t i o n 6 8 .

O n t o g e n y : U p o n t h e a p p e a r a n c e o f m u l t i c e l l u l a r o r g a n i s m s , a s e c o n d l e v e l o f b i -

o l o g i c a l o r g a n i z a t i o n m a n i f e s t e d i t s e l f . T h e s u c c e s s i v e d i v i s i o n s o f t h e m o t h e r c e l l ,

t h e z y g o t e , w i t h e a c h n e w l y f o r m e d c e l l p o s s e s s i n g a c o p y o f t h e o r i g i n a l g e n o m e , i s

f o l l o w e d b y a s p e c i a l i z a t i o n o f t h e d a u g h t e r c e l l s d e p e n d i n g o n t h e i r s u r r o u n d i n g s ,

i . e . , t h e i r p o s i t i o n w i t h i n t h e e n s e m b l e a s w e l l a s t h e m i l i e u . T h i s l a t t e r p h a s e i s

k n o w n a s c e l l u l a r d i e r e n t i a t i o n . O n t o g e n y i s t h u s t h e d e v e l o p m e n t a l p r o c e s s o f

a m u l t i c e l l u l a r o r g a n i s m . T h i s p r o c e s s i s e s s e n t i a l l y d e t e r m i n i s t i c : a n e r r o r i n a

s i n g l e b a s e w i t h i n t h e g e n o m e c a n p r o v o k e a n o n t o g e n e t i c s e q u e n c e w h i c h r e s u l t s

i n n o t i c e a b l e , p o s s i b l y l e t h a l , m a l f o r m a t i o n s .

T h e m a i n p r o c e s s i n v o l v e d i n t h e o n t o g e n e t i c a x i s c a n b e s u m m e d u p a s g r o w t h

o r c o n s t r u c t i o n . O n t o g e n e t i c h a r d w a r e e x h i b i t s p r o p e r t i e s s u c h a s r e p l i c a t i o n a n d

r e - g e n e r a t i o n w h i c h n d t h e i r u s e i n m a n y a p p l i c a t i o n s . F o r e x a m p l e , r e p l i c a t i n g

s y s t e m s h a v e t h e a b i l i t y t o s e l f - r e p a i r u p o n s u e r i n g h e a v y d a m a g e 2 0 3 . R e p l i -

c a t i o n c a n i n f a c t b e c o n s i d e r e d a s p e c i a l c a s e o f g r o w t h , i n v o l v i n g t h e c r e a t i o n



1 . 2 A i m s o f t h e t h e s i s 3

o f a n i d e n t i c a l o r g a n i s m b y d u p l i c a t i n g t h e g e n e t i c m a t e r i a l o f a m o t h e r e n t i t y

o n t o a d a u g h t e r o n e , t h e r e b y c r e a t i n g a n e x a c t c l o n e . T h e s e i d e a s h a v e b e e n t h e

i n s p i r a t i o n f o r t h e d e v e l o p m e n t o f e m b r y o n i c h a r d w a r e w i t h s e l f - r e p a i r c a p a b i l i -

t i e s 1 2 9 , 1 3 1 , 2 0 3 .

E p i g e n e s i s : T h e o n t o g e n e t i c p r o g r a m i s l i m i t e d i n t h e a m o u n t o f i n f o r m a t i o n t h a t

i t c a n s t o r e , i m p l y i n g t h a t t h e c o m p l e t e s p e c i c a t i o n o f t h e o r g a n i s m i s i m p o s s i b l e .

A w e l l - k n o w n e x a m p l e i s t h a t o f t h e h u m a n b r a i n , c o n s i s t i n g o f a p p r o x i m a t e l y 1 0

1 0

n e u r o n s a n d 1 0

1 4

c o n n e c t i o n s , f a r t o o l a r g e a n u m b e r t o b e c o m p l e t e l y s p e c i e d i n a

g e n o m e o f a p p r o x i m a t e l y 3 1 0

9

c h a r a c t e r s i n a 4 - l e t t e r a l p h a b e t . T h e r e f o r e , u p o n

r e a c h i n g a c e r t a i n l e v e l o f c o m p l e x i t y , t h e r e m u s t e m e r g e a d i e r e n t p r o c e s s t o a l l o w

t h e i n d i v i d u a l t o i n t e g r a t e t h e v a s t q u a n t i t y o f i n t e r a c t i o n s w i t h t h e o u t s i d e w o r l d .

T h i s p r o c e s s i s k n o w n a s e p i g e n e s i s a n d p r i m a r i l y i n c l u d e s t h e n e r v o u s s y s t e m , t h e

i m m u n e s y s t e m , a n d t h e e n d o c r i n e s y s t e m . T h e s e s y s t e m s a r e c h a r a c t e r i z e d b y

a b a s i c s t r u c t u r e t h a t i s e n t i r e l y d e n e d b y t h e g e n o m e t h e i n n a t e p a r t , w h i c h

i s t h e n s u b j e c t e d t o m o d i c a t i o n t h r o u g h l i f e t i m e i n t e r a c t i o n s o f t h e i n d i v i d u a l

w i t h t h e e n v i r o n m e n t t h e a c q u i r e d p a r t . T h e e p i g e n e t i c p r o c e s s e s c a n b e l o o s e l y

g r o u p e d u n d e r t h e h e a d i n g o f l e a r n i n g s y s t e m s . E n g i n e e r s h a v e c e n t e r e d t h e i r

a t t e n t i o n o n t h e n e r v o u s s y s t e m , g i v i n g r i s e t o t h e e l d o f a r t i c i a l n e u r a l n e t w o r k s ,

w h i c h w i l l b e t h e f o c u s o f t h i s t h e s i s .

1 . 2 A i m s o f t h e t h e s i s

F r o m a b i o l o g i c a l p o i n t o f v i e w , t h e r e i s a g r o w i n g e v i d e n c e t h a t t h e g e n o m e c o n t a i n s

t h e f o r m a t i o n r u l e s t h a t s p e c i f y t h e o u t l i n e o f t h e n e r v o u s s y s t e m 1 9 1 . I t i s p r i m a r -

i l y i n t h e s y n a p s e s , t h e z o n e s o f c o n t a c t b e t w e e n t w o n e u r o n s , w h e r e l e a r n i n g o c c u r s

t h r o u g h i n t e r a c t i o n s w i t h t h e e n v i r o n m e n t d u r i n g t h e o r g a n i s m ' s l i f e t i m e . T h e n e r v o u s

s y s t e m o f l i v i n g o r g a n i s m s t h u s r e p r e s e n t s a m i x t u r e o f t h e i n n a t e a n d t h e a c q u i r e d , t h e

l a t t e r p r e c l u d i n g t h e p o s s i b i l i t y o f i t s d i r e c t h e r e d i t a r y t r a n s m i s s i o n u n d e r D a r w i n i a n

e v o l u t i o n . A p r e d o m i n a n t a p p r o a c h i n t h e e l d o f a r t i c i a l n e u r a l n e t w o r k s c o n s i s t s o f

u s i n g a d a t a b a s e t o t r a i n t h e s y s t e m b y a p p l y i n g a s o - c a l l e d l e a r n i n g a l g o r i t h m t o m o d i f y

t h e i n t e r c o n n e c t i o n d y n a m i c s b e t w e e n a r t i c i a l n e u r o n s , u s i n g a p r e d e t e r m i n e d n e t w o r k

t o p o l o g y i . e . , t h e n u m b e r o f a r t i c i a l n e u r o n s a n d t h e w a y t h e y a r e i n t e r c o n n e c t e d .

W h e n t h e t r a i n i n g p r o c e s s e n d s , t h e s y s t e m r e m a i n s x e d , a n d c a n b e c o n s i d e r e d a

l e a r n e d s y s t e m .

H o w e v e r , i n a p p l i c a t i o n s w h e r e t h e e n t i r e t r a i n i n g d a t a b a s e i s n o t a v a i l a b l e o r m a y

c h a n g e i n t i m e , t h e l e a r n i n g p r o c e s s m u s t p e r s i s t , g i v i n g r i s e t o l e a r n i n g s y s t e m s . A

p r o b l e m o f s u c h s y s t e m s i s h o w t o p r e s e r v e w h a t h a s b e e n p r e v i o u s l y l e a r n e d w h i l e

c o n t i n u i n g t o i n c o r p o r a t e n e w k n o w l e d g e . L e a r n i n g s y s t e m s o v e r c o m e s u c h p r o b l e m s b y

a l o c a l a d a p t a t i o n p r o c e s s a n d b y o e r i n g t h e p o s s i b i l i t y o f d y n a m i c a l l y m o d i f y i n g t h e

n e t w o r k ' s t o p o l o g y .



4 1 . I n t r o d u c t i o n

L e a r n e d a n d l e a r n i n g s y s t e m s

O n e c a n v i e w a p r e d e s i g n e d n e t w o r k a s a n i m p l e m e n t a t i o n o f a l e a r n e d s y s t e m t h a t

e x h i b i t s i n s t i n c t i v e b e h a v i o r 1 9 3 . I n d e e d , i t s e e m s t h a t t h e h u m a n b r a i n h a s m a n y m o r e

s u c h i n s t i n c t i v e n e t w o r k s t h a n i s u s u a l l y a c k n o w l e d g e d 4 3 , 2 1 5 , p o s s i b l y d u e t o t h e i r

b e i n g f a s t e r a n d l e s s r e s o u r c e - i n t e n s i v e t h a n l e a r n i n g s y s t e m s , w h i c h a d a p t c o n t i n u o u s l y

w i t h i n a d y n a m i c e n v i r o n m e n t . L e a r n i n g s y s t e m s e x h i b i t t h e p l a s t i c i t y n e c e s s a r y t o

c o n f r o n t c o m p l e x , d y n a m i c a l t a s k s a n d m u s t b e a b l e t o a d a p t a t t w o d i s t i n c t l e v e l s ,

c h a n g i n g t h e d y n a m i c s o f i n t e r n e u r o n i n t e r a c t i o n s a s w e l l a s m o d i f y i n g t h e n e t w o r k

t o p o l o g y i t s e l f . T o p o l o g y m o d i c a t i o n h a s p r o v e n t o b e a s u c c e s s f u l s o l u t i o n t o a p r o b l e m

k n o w n a s t h e s t a b i l i t y - p l a s t i c i t y d i l e m m a : h o w c a n a l e a r n i n g s y s t e m p r e s e r v e w h a t i t

h a s p r e v i o u s l y l e a r n e d , w h i l e c o n t i n u i n g t o i n c o r p o r a t e n e w k n o w l e d g e 3 7 . W e a r e

p a r t i c u l a r l y m o t i v a t e d b y t h e i d e a o f d e v e l o p i n g l e a r n i n g s y s t e m s i n s t e a d o f m e r e l y

l e a r n e d o n e s .

S t r u c t u r e - a d a p t a b l e d i g i t a l n e u r a l n e t w o r k s

M a n y a r t i c i a l n e u r a l n e t w o r k i m p l e m e n t a t i o n s e x i s t , m o s t l y i n s o f t w a r e r a t h e r t h a n i n

h a r d w a r e , t h o u g h o n l y t h e l a t t e r c o n c e r n u s h e r e . W h i l e n e u r a l n e t w o r k h a r d w a r e a p -

p e a r e d a s f a r b a c k a s t h e 1 9 8 0 ' s 1 3 4 , o n l y r e c e n t l y h a v e w e s e e n t h e u s e o f r e c o n g u r a b l e

h a r d w a r e e . g . , e l d p r o g r a m m a b l e d e v i c e s f o r i m p l e m e n t i n g a r t i c i a l n e u r a l s y s t e m s ,

i n i t i a l l y t a k i n g a d v a n t a g e o f t h e i r p o t e n t i a l f o r r a p i d p r o t o t y p i n g 2 0 , 4 7 a n d t h e n o f

t h e i r r e c o n g u r a b i l i t y f o r d e n s i t y e n h a n c e m e n t 5 5 a n d a c c e l e r a t i o n 2 0 . H o w e v e r , t h e

r e c o n g u r a b i l i t y o f s u c h d e v i c e s h a s n o t b e e n e x p l o i t e d t o i m p l e m e n t n e u r a l n e t w o r k s

w i t h i n - c i r c u i t s t r u c t u r e a d a p t a t i o n , t h e g o a l o f o u r r e s e a r c h .

A d a p t i v e c a t e g o r i z a t i o n a n d l e a r n i n g b y i n t e r a c t i o n

C a t e g o r i z a t i o n r e f e r s t o t h e p r o c e s s b y w h i c h d i s t i n c t e n t i t i e s a r e t r e a t e d a s e q u i v a l e n t . I t

i s c o n s i d e r e d a s o n e o f t h e m o s t f u n d a m e n t a l c o g n i t i v e a c t i v i t i e s b e c a u s e c a t e g o r i z a t i o n

a l l o w s u s t o u n d e r s t a n d a n d m a k e p r e d i c t i o n s a b o u t o b j e c t s a n d e v e n t s i n o u r w o r l d .

A d a p t i v e c a t e g o r i z a t i o n m o d e l s h a v e a l l o w e d u s t o e x p l a i n s o m e s e n s o r y a n d c o g n i t i v e

p r o c e s s e s i n t h e b r a i n s u c h a s p e r c e p t i o n , r e c o g n i t i o n , a t t e n t i o n , w o r k i n g m e m o r y , e t c .

H o w e v e r , t h e l e a r n i n g p r o c e s s o f s p a t i a l a n d m o t o r s k i l l a c q u i s i t i o n s e e m s t o b e g o v e r n e d

b y a l e a r n i n g b y i n t e r a c t i o n p r o c e s s . A d a p t i v e c a t e g o r i z a t i o n a n d l e a r n i n g b y i n t e r a c t i o n

a r e k e y f e a t u r e s o f a n a u t o n o m o u s l e a r n i n g s y s t e m : a d a p t i v e c a t e g o r i z a t i o n i s e s s e n t i a l

t o m a k e s e n s e o f t h e o o d o f e n v i r o n m e n t a l s i g n a l s t h a t r e l e n t l e s s l y a s s a i l s t h e s e n s o r s

o f a l e a r n i n g s y s t e m , w h i l e l e a r n i n g b y i n t e r a c t i o n i s e s s e n t i a l w h e n a n e x p l i c i t e x t e r n a l

g u i d e f o r a d a p t a t i o n i s n o t a v a i l a b l e i . e . , a t e a c h e r a n d t h e s y s t e m h a s t o l e a r n b y i t s e l f .

W e a i m t o d e v e l o p a s t r u c t u r e - a d a p t a b l e d i g i t a l n e u r a l n e t w o r k e x h i b i t i n g t h e s e t w o k e y

f e a t u r e s . T h e r e s u l t i n g n e u r a l - b a s e d s y s t e m s h o u l d a l l o w t h e c o n t r o l o f a n a u t o n o m o u s

r o b o t i n t e r a c t i n g w i t h a r e a l w o r k s p a c e . I n p a r t i c u l a r , a r e a l r o b o t n a v i g a t i o n t a s k w i l l

a l l o w u s t o v a l i d a t e t h e i m p l e m e n t a t i o n o f a n o n - c h i p l e a r n i n g s y s t e m .



1 . 3 O u t l i n e o f t h e t h e s i s 5

1 . 3 O u t l i n e o f t h e t h e s i s

T h i s t h e s i s i s o r g a n i z e d i n 7 c h a p t e r s , t h e r s t C h a p t e r b e i n g t h i s i n t r o d u c t i o n . I n

C h a p t e r 2 w e i n t r o d u c e a r t i c i a l n e u r a l n e t w o r k s , m a s s i v e l y p a r a l l e l c o m p u t i n g m a -

c h i n e s i n s p i r e d b y b i o l o g i c a l n e r v o u s s y s t e m s , f o c u s i n g p a r t i c u l a r l y o n t h e p r o b l e m o f

t o p o l o g y a d a p t a t i o n , w h i c h w i l l b e i m p o r t a n t f o r t h e s u b s e q u e n t d i s c u s s i o n . C h a p t e r

3 p r e s e n t s t h e k e y t o p i c s o f n e u r a l h a r d w a r e . W e c o n c e n t r a t e o n d i g i t a l h a r d w a r e , a n d

m o r e p a r t i c u l a r l y o n r e c o n g u r a b l e h a r d w a r e , a t e c h n o l o g y t h a t a l l o w s u s e r s t o r e c o n -

g u r e t h e i n t e r n a l c i r c u i t c o n n e c t i o n s a n d n o d e l o g i c f u n c t i o n a l i t y . W e a r g u e t h a t s u c h

t e c h n o l o g y s h o u l d e n a b l e t h e i m p l e m e n t a t i o n o f t r u e l e a r n i n g s y s t e m s . I n C h a p t e r 4

w e p r e s e n t a s t r u c t u r e - a d a p t a b l e a r t i c i a l n e u r a l n e t w o r k a r c h i t e c t u r e c a l l e d F A S T f o r

e x i b l e a d a p t a b l e - s i z e t o p o l o g y . S u c h n e u r a l a r c h i t e c t u r e i s a n a d a p t a t i o n o f t h e p r i n -

c i p l e s o f t h e a d a p t i v e r e s o n a n c e t h e o r y A R T 7 0 , 7 1 , a t h e o r y o f h u m a n c o g n i t i v e

i n f o r m a t i o n p r o c e s s i n g . F A S T w a s p a r t i c u l a r l y m o t i v a t e d b y t h e p o s s i b i l i t y o f a d i g i t a l

i m p l e m e n t a t i o n u s i n g p r o g r a m m a b l e h a r d w a r e d e v i c e s , t o b e u s e d f o r i m a g e p r o c e s s i n g

a n d n e u r o c o n t r o l . C h a p t e r 5 p r e s e n t s t h e p r o b l e m o f l e a r n i n g b y i n t e r a c t i o n . T h e b a s i c

a p p r o a c h i s t o l e a r n t o m a k e p r e d i c t i o n s a b o u t t h e c o n s e q u e n c e s o f b e h a v i o r a l r e s p o n s e s

i n s i t u a t i o n s t h a t r e s e m b l e t h o s e e x p e r i m e n t e d i n t h e p a s t . I n p a r t i c u l a r w e w i l l d e s c r i b e

a c o m p u t a t i o n a l a p p r o a c h c a l l e d t e m p o r a l - d i e r e n c e l e a r n i n g , w h i c h b e l o n g s t o a w i d e r

c l a s s o f a d a p t i v e t e c h n i q u e s c a l l e d r e i n f o r c e m e n t l e a r n i n g a l g o r i t h m s . W e e x p l o r e t h e

u s e o f s u c h t e c h n i q u e s f o r l e a r n i n g s t r a t e g i e s i n g a m i n g a n d c o n t r o l p r o b l e m s , c o m p a r e

t h e i r a d v a n t a g e s a n d d i s a d v a n t a g e s , a n d p r o p o s e a d i g i t a l i m p l e m e n t a t i o n o f a n e u r o -

c o n t r o l l e r . C h a p t e r 6 p r e s e n t s t h e p r o b l e m o f c o n t r o l l i n g a n a u t o n o m o u s m o b i l e r o b o t

i n t e r a c t i n g w i t h a r e a l w o r k s p a c e . T h e r o b o t n a v i g a t i o n t a s k w i l l a l l o w u s t o v a l i d a t e

a n e u r o c o n t r o l l e r a r c h i t e c t u r e f o r o n - c h i p l e a r n i n g s y s t e m s . W e a l s o p r e s e n t t h e d e v e l -

o p m e n t o f a n F P G A - b a s e d b o a r d a d a p t e d f o r t h e c o n t r o l o f t h e K h e p e r a m o b i l e r o b o t ,

i m p l e m e n t i n g t h e n e u r o c o n t r o l l e r a r c h i t e c t u r e . F i n a l l y , C h a p t e r 7 p r e s e n t s s o m e c o n -

c l u s i o n s a n d d i s c u s s e s t h e g o a l s a c h i e v e d w i t h t h e p r e s e n t w o r k . I t s t a t e s t h e o r i g i n a l

c o n t r i b u t i o n s , a n d d e s c r i b e s t h e l i m i t a t i o n s o f t h e p r e s e n t s y s t e m a n d p r o p o s e s p o s s i b l e

e x t e n s i o n s a n d f u t u r e w o r k .



C h a p t e r 2

A r t i c i a l N e u r a l N e t w o r k s

I f I h a v e s e e n f u r t h e r t h a n o t h e r m e n , i t i s b e c a u s e

I h a v e s t o o d u p o n t h e s h o u l d e r s o f g i a n t s .

- I . N e w t o n

R

e c e n t a d v a n c e s i n t e c h n o l o g y h a v e e n a b l e d u s t o u s e m o d e r n d i g i t a l c o m p u t e r s

c a p a b l e o f a s t o u n d i n g f e a t s . T h e y o p e r a t e o n t h e n a n o s e c o n d t i m e s c a l e a n d p e r -

f o r m e n o r m o u s a n d c o m p l e x a r i t h m e t i c c a l c u l a t i o n s . F u r t h e r m o r e , t h e y a r e a b l e

t o s t o r e h u g e a m o u n t s o f d a t a : d o c u m e n t s , i m a g e s , s c i e n t i c d a t a , e t c . M i c r o p r o c e s s o r

d e s i g n s w i l l s o o n s u r p a s s 1 0 m i l l i o n t r a n s i s t o r s 2 1 1 , a c o m p l e x i t y h a r d l y i m a g i n e d i n

t h e m i d d l e 1 9 5 0 s w h e n J o h n v o n N e u m a n n d e s c r i b e d t h e r e v o l u t i o n a r y a r c h i t e c t u r e o f

m o d e r n d i g i t a l c o m p u t e r s a s a n e x t r e m e l y s i m p l i e d m o d e l o f t h e l i v i n g b r a i n 2 2 1 .

V o n N e u m a n n ' s w o r k o n t h e s t o r e d p r o g r a m c o m p u t e r a r c h i t e c t u r e n o w a d a y s k n o w n

a s t h e v o n N e u m a n n a r c h i t e c t u r e w a s b a s e d o n t h e o r i g i n a l i d e a s o f A l a n T u r i n g w h o

a l s o w a n t e d t o b u i l d a b r a i n . T u r i n g t h o u g h t t h e b r a i n w o r k e d b y c h a n g i n g s t a t e s , t h u s

h e i m a g i n e d a s t e p b y s t e p p r o g r a m m i n g m a c h i n e 2 1 4 .

T h e p i o n e e r s o f i n f o r m a t i c s w e r e c l e a r l y i n s p i r e d f r o m n e u r o l o g y a n d c u r r e n t k n o w l -

e d g e o f t h e o p e r a t i o n o f t h e h u m a n b r a i n t o d e v e l o p t h e a r c h i t e c t u r e s o f m o d e r n c o m -

p u t i n g m a c h i n e s , e v e n t h o u g h t h e l o n g c o u r s e o f e v o l u t i o n h a s g i v e n t h e b r a i n v e r y

d i s t i n c t i v e c h a r a c t e r i s t i c s l i k e l e a r n i n g , d i s t r i b u t e d m e m o r y a n d c o m p u t a t i o n , g e n e r a l -

i z a t i o n , r o b u s t n e s s , t h e c a p a b i l i t y o f i n t e r p r e t a t i o n o f i m p r e c i s e a n d n o i s y i n f o r m a t i o n ,

e t c . , n o t p r e s e n t i n v o n N e u m a n n c o m p u t e r s .

N e u r o e n g i n e e r s h a v e c a m e u p w i t h t h e i d e a o f a r t i c i a l n e u r a l n e t w o r k s , m a s s i v e l y

p a r a l l e l c o m p u t i n g m a c h i n e s a l s o i n s p i r e d b y b i o l o g i c a l n e r v o u s s y s t e m s , b u t b a s e d o n a

v e r y d i e r e n t a p p r o a c h a n d a n e w p a r a d i g m , w h e r e l e a r n i n g f r o m e x a m p l e s o r l e a r n i n g

f r o m i n t e r a c t i o n r e p l a c e s p r o g r a m m i n g .

7



8 2 . A r t i c i a l N e u r a l N e t w o r k s

2 . 1 B i o l o g i c a l n e u r a l n e t w o r k s

A b o u t 1 0 0 y e a r s a g o , a S p a n i s h h i s t o l o g i s t , S a n t i a g o R a m o n y C a j a l , t h e f a t h e r o f m o d e r n

b r a i n s c i e n c e , r e a l i z e d t h a t t h e b r a i n w a s m a d e u p o f d i s c r e t e u n i t s h e c a l l e d n e u r o n s ,

t h e G r e e k w o r d f o r n e r v e s . H e d e s c r i b e d n e u r o n s a s p o l a r i z e d c e l l s t h a t r e c e i v e s i g n a l s

v i a h i g h l y b r a n c h e d e x t e n s i o n s , c a l l e d d e n d r i t e s , a n d s e n d i n f o r m a t i o n a l o n g u n b r a n c h e d

e x t e n s i o n s , c a l l e d a x o n s 6 0 F i g u r e 2 . 1 .

Synapse

NucleusDendrite Axon

PotentialAction

F i g u r e 2 . 1 : A b i o l o g i c a l n e u r o n .

T h e b r a i n i s a v e r y c o m p l e x m a c h i n e . T h e h u m a n b r a i n c o n t a i n s b e t w e e n 7 1 0

1 0

a n d 8 1 0

1 0

n e u r o n s 1 8 5 , w h i c h i s o n t h e s a m e o r d e r o f m a g n i t u d e a s t h e n u m b e r o f

s t a r s i n o u r g a l a x y , a n d e a c h n e u r o n i s c o n n e c t e d u p t o 1 0

3

t o 1 0

4

o t h e r n e u r o n s . I n

t o t a l , t h e h u m a n b r a i n c o n t a i n s a p p r o x i m a t e l y 1 0

1 4

t o 1 0

1 5

i n t e r c o n n e c t i o n s 1 0 0 .

A l t h o u g h t h e b r a i n e x h i b i t s a g r e a t d i v e r s i t y o f n e u r o n s h a p e s , d e n d r i t i c t r e e s , a x o n

l e n g t h s , e t c . , a l l n e u r o n s s e e m t o p r o c e s s i n f o r m a t i o n i n m u c h t h e s a m e w a y . I n f o r m a t i o n

i s t r a n s m i t t e d i n t h e f o r m o f e l e c t r i c a l i m p u l s e s c a l l e d a c t i o n p o t e n t i a l s v i a t h e a x o n s f r o m

o t h e r n e u r o n c e l l s . T h e s e a c t i o n p o t e n t i a l s h a v e a n a m p l i t u d e o f a b o u t 1 0 0 m i l l i v o l t s ,

a n d a f r e q u e n c y o f a p p r o x i m a t e l y 1 K H z . W h e n t h e a c t i o n p o t e n t i a l a r r i v e s a t t h e

a x o n t e r m i n a l , t h e n e u r o n r e l e a s e s c h e m i c a l n e u r o t r a n s m i t t e r s f r o m t h e s y n a p t i c v e s i c l e

w h i c h m e d i a t e t h e i n t e r - n e u r o n c o m m u n i c a t i o n a t s p e c i a l i z e d c o n n e c t i o n s c a l l e d s y n a p s e s

F i g u r e 2 . 2 .

T h e s e n e u r o t r a n s m i t t e r s b i n d t o r e c e p t o r s i n t h e m e m b r a n e o f t h e p o s t s y n a p t i c

n e u r o n t o e x c i t e o r i n h i b i t i t . A n e u r o n m a y h a v e t h o u s a n d s o f s y n a p s e s c o n n e c t i n g i t

w i t h t h o u s a n d s o f o t h e r n e u r o n s . T h e r e s u l t i n g e e c t o f a l l e x c i t a t i o n s a n d i n h i b i t i o n s

r e d u c e s t h e e x t e r n a l m e m b r a n e ' s e l e c t r i c a l p o t e n t i a l d i e r e n c e b y a b o u t 7 0 m i l l i v o l t s t h e

i n n e r s u r f a c e b e c o m e s n e g a t i v e r e l a t i v e t o t h e o u t e r s u r f a c e . T h e r e f o r e , t h e p e r m e a b i l i t y

t o s o d i u m N a

+

i n c r e a s e s , l e a d i n g t o t h e m o v e m e n t o f p o s i t i v e l y c h a r g e d s o d i u m f r o m

t h e e x t r a c e l l u l a r u i d i n t o t h e c e l l ' s i n t e r i o r , t h e c y t o p l a s m , w h i c h i n t u r n m a y g e n e r a t e

a n a c t i o n p o t e n t i a l i n t h e p o s t s y n a p t i c n e u r o n i . e . , t h e n e u r o n r e s .

T h i s v e r y b r i e f d e s c r i p t i o n o f t h e n e u r o n ' s p h y s i o l o g y h a s i n s p i r e d e n g i n e e r s a n d

s c i e n t i s t t o d e v e l o p a d a p t i v e s y s t e m s w i t h l e a r n i n g c a p a b i l i t i e s . I n t h e f o l l o w i n g s e c t i o n

w e w i l l d e s c r i b e t h e m a i n c o m p u t a t i o n a l m o d e l s t h a t h a v e b e e n d e v e l o p e d s o f a r , a s a

r e s u l t o f s u c h b i o l o g i c a l i n s p i r a t i o n .



2 . 2 A r t i c i a l n e u r a l n e t w o r k s 9

Axon

Dendrite

Presynapticaxon terminal

Neurotransmitters

Synapticvesicle

neuronPostsynaptic

F i g u r e 2 . 2 : S y n a p s e s a r e s p e c i a l i z e d c o n n e c t i o n s b e t w e e n n e u r o n s w h e r e c h e m i c a l n e u r o t r a n s -

m i t t e r s m e d i a t e t h e i n t e r - n e u r o n c o m m u n i c a t i o n .

2 . 2 A r t i c i a l n e u r a l n e t w o r k s

A r t i c i a l n e u r a l n e t w o r k m o d e l s a r e w i d e l y u s e d f o r t h e d e s i g n o f a d a p t i v e , i n t e l l i g e n -

t s y s t e m s s i n c e t h e y o e r a n a t t r a c t i v e p a r a d i g m : l e a r n i n g t o s o l v e p r o b l e m s f r o m

e x a m p l e s a n d f r o m i n t e r a c t i o n . T h e s e m o d e l s a c h i e v e g o o d p e r f o r m a n c e v i a m a s s i v e l y

p a r a l l e l n e t w o r k s c o m p o s e d o f g e n e r a l l y n o n - l i n e a r s i m p l e c o m p u t a t i o n a l e l e m e n t s , o f t e n

r e f e r r e d t o a s u n i t s o r n e u r o n s . A n o u t p u t v a l u e , r e f e r r e d t o a s t h e n e u r o n ' s a c t i v a t i o n ,

i s a s s o c i a t e d w i t h e a c h n e u r o n . S i m i l a r l y , a v a l u e , k n o w n a s t h e s y n a p t i c w e i g h t i s a s -

s o c i a t e d w i t h e a c h c o n n e c t i o n b e t w e e n n e u r o n s . T h e a c t i v a t i o n a n d t h e s y n a p t i c w e i g h t

a r e a n a l o g o u s , r e s p e c t i v e l y , t o t h e r i n g r a t e o f a b i o l o g i c a l n e u r o n a n d t h e s t r e n g t h o f a

s y n a p s e c o n n e c t i o n b e t w e e n t w o n e u r o n s i n t h e b r a i n . I n a n e t w o r k , t h e n e u r o n ' s a c t i -

v a t i o n d e p e n d s o n t h e a c t i v a t i o n s o f t h e n e u r o n s c o n n e c t e d t o i t a n d t h e i n t e r c o n n e c t i o n

w e i g h t s . N e u r o n s a r e o f t e n a r r a n g e d a s l a y e r s , w h e r e t h e a c t i v a t i o n s o f t h e n e u r o n s o f

t h e i n p u t l a y e r a r e s e t e x t e r n a l l y F i g u r e 2 . 5 .

A r t i c i a l n e u r a l n e t w o r k s a r e d e n e d b y t h e f e a t u r e s o f t h e i r n e u r o n s i . e . , t h e

a r t i c i a l n e u r o n m o d e l , b y t h e i r n e t w o r k t o p o l o g y , a n d b y t h e i r t r a i n i n g o r l e a r n i n g

a l g o r i t h m s . I n t h e f o l l o w i n g s e c t i o n s w e d e s c r i b e t h e m a i n m o d e l s o f a r t i c i a l n e u r o n s ,

t h e s t a n d a r d a r t i c i a l n e u r a l n e t w o r k t o p o l o g i e s , a n d t h e p r i n c i p a l c l a s s e s o f l e a r n i n g

a l g o r i t h m s .

2 . 3 A r t i c i a l n e u r o n s

T h e r s t c o m p u t a t i o n a l m o d e l o f t h e n e u r o n w a s i n t r o d u c e d w i t h t h e p i o n e e r i n g w o r k

o f W a r r e n M c C u l l o c h a n d W a l t e r P i t t s 1 3 3 i n t h e 1 9 4 0 s . M c C u l l o c h a n d P i t t s m e r g e d

m a t h e m a t i c a l l o g i c a n d n e u r o p h y s i o l o g y t o p r o p o s e a b i n a r y t h r e s h o l d u n i t a s a c o m -

p u t a t i o n a l m o d e l f o r a n a r t i c i a l n e u r o n o p e r a t i n g i n d i s c r e t e t i m e . T h e o u t p u t y t o f

a n e u r o n i s 1 w h e n a n a c t i o n p o t e n t i a l i s g e n e r a t e d , a n d 0 o t h e r w i s e . A w e i g h t v a l u e

w

i

i s a s s o c i a t e d t o e a c h i t h c o n n e c t i o n t o t h e n e u r o n . S u c h w e i g h t s c h a r a c t e r i z e t h e

c o n n e c t i o n s s y n a p s e s a s e x c i t a t o r y i f w

i

= + 1 , a n d i n h i b i t o r y i f w

i

= , 1 . A n e u r o n

r e s w h e n t h e e e c t o f i n h i b i t i o n s a n d e x c i t a t i o n s i s l a r g e r t h a n a c e r t a i n t h r e s h o l d .

I n 1 9 5 8 , t h e A m e r i c a n p s y c h o l o g i s t F r a n k R o s e n b l a t t p r o p o s e d a c o m p u t a t i o n a l



1 0 2 . A r t i c i a l N e u r a l N e t w o r k s

x1

xn

x2

Synaptic weight

Σwn

w1

w2

y

Output

Threshold

-1

1

θ

Input

F i g u r e 2 . 3 : M o d e l o f a n a r t i c i a l n e u r o n .

m o d e l o f n e u r o n s h e c a l l e d t h e P e r c e p t r o n 1 7 1 . T h e e s s e n t i a l i n n o v a t i o n w a s t h e i n t r o -

d u c t i o n o f n u m e r i c a l i n t e r c o n n e c t i o n w e i g h t s i n s t e a d o f t h e s i m p l e i n h i b i t o r y e x c i t a t o r y

c o n n e c t i o n s o f t h e M c C u l l o c h - P i t t s m o d e l F i g u r e 2 . 3 . T h e m o d e l i s m a t h e m a t i c a l l y

d e s c r i b e d a s f o l l o w s :

y x =

+ 1 i f

P

n

i = 1

w

i

x

i

;

, 1 i f

P

n

i = 1

w

i

x

i

;

2 . 1

w h e r e y i s t h e o u t p u t o f t h e P e r c e p t r o n , w

i

i s t h e w e i g h t o f i n p u t x

i

, a n d i s t h e

t h r e s h o l d . T h e i n p u t s x

1

; x

2

: : : ; x

n

a n d w e i g h t s w

1

; w

2

: : : ; w

n

a r e , t y p i c a l l y , r e a l v a l u e s .

S u c h w e i g h t s m o d e l s y n a p t i c e c a c i t y , a n d t h e o u t p u t o f s u c h a n e u r o n m o d e l t h e r a t e

o f r e o f b i o l o g i c a l n e u r o n s . O n e c a n d i s t i n g u i s h t h r e e t y p e s o f a r t i c i a l n e u r o n m o d e l s :

i n p u t - c o r r e l a t i o n n e u r o n s , w e i g h t l e s s n e u r o n s , a n d s p i k i n g n e u r o n s .

2 . 3 . 1 I n p u t - c o r r e l a t i o n n e u r o n s

F r o m a c o m p u t a t i o n a l p o i n t o f v i e w , a n a r t i c i a l n e u r o n e i t h e r c l a s s i e s o r c o m p u t e s

s o m e f u n c t i o n o f t h e i n p u t s . T o d e t e r m i n e i t s o u t p u t f o r a g i v e n i n p u t , a n e u r o n c o m p u t e s

s o m e s o r t o f c o r r e l a t i o n b e t w e e n i t s i n p u t s a n d t h e s e t o f s t o r e d i n t e r c o n n e c t i o n w e i g h t s

i . e . , t h e s y n a p t i c w e i g h t s 2 4 1 . T y p i c a l l y , t h i s c o r r e l a t i o n i s c o m p u t e d a s a s c a l a r

p r o d u c t , w h i c h i s a t r i v i a l m e a s u r e o f s i m i l a r i t y 1 0 7 : i f x

i

a n d w

i

a r e t h e i t h c o m p o n e n t s

o f t h e i n p u t a n d t h e w e i g h t v e c t o r s r e s p e c t i v e l y , t h e n t h e s c a l a r p r o d u c t i s e q u i v a l e n t t o

t h e s t a n d a r d s u m o f w e i g h t e d i n p u t s :

X

i

w

i

x

i

2 . 2

I n a n a r t i c i a l n e u r o n , t h i s c o r r e l a t i o n v a l u e i s r e f e r r e d t o a s t h e p o t e n t i a l o f t h e n e u r o n .

T h e o u t p u t o f t h e n e u r o n i s a n o n - l i n e a r f u n c t i o n o f t h e p o t e n t i a l :

y = f

X

i

w

i

x

i

; 2 . 3




00 01 11 10

00

10

i1i2i3i4

010 1 1 1 0

11

1 1 1 0 1

i1 i2 i3 i4 z

1 1 0 1 1

0 0 1 0 0

T =

b) c)a)

u u

u

u

u

u

u

00 01 11 10

00

01

11

10

i1i2i3i4

F i g u r e 2 . 4 : E x a m p l e o f g e n e r a l i z a t i o n o f a G - R A M w e i g h t l e s s a r t i c i a l n e u r o n . a T h e t r a i n i n g

s e t T . b K a r n a u g h - m a p r e p r e s e n t a t i o n o f t h e g e n e r a l i z a t i o n i n a w e i g h t e d s y s t e m : t h e c i r c l e s

a r e t h e t r a i n i n g p a t t e r n s , a n d t h e s h a d e d s q u a r e s r e p r e s e n t t h e g e n e r a l i z e d o u t p u t s i n s t a n c e s

w h e r e z = 1 . c G e n e r a l i z a t i o n i n a w e i g h t l e s s G - R A M s y s t e m : u r e p r e s e n t s a n ' u n d e n e d '

o u t p u t ; t h e c o r r e s p o n d i n g v a l u e i s a 1 w i t h a p r o b a b i l i t y 0 . 5 .

2 . 3 . 3 S p i k i n g n e u r o n s

I t h a s b e e n f o u n d t h a t b i o l o g i c a l n e u r o n s i n t h e c o r t e x r e a t v a r i o u s i n t e r m e d i a t e

f r e q u e n c i e s b e t w e e n a m a x i m u m a n d a m i n i m u m f r e q u e n c y . T h i s i s w h y t h e o u t p u t o f

a s i g m o i d a l P e r c e p t r o n i s i n t e r p r e t e d a s t h e c u r r e n t r i n g r a t e o f a b i o l o g i c a l n e u r o n .

H o w e v e r , e x p e r i m e n t a l e v i d e n c e h a s s h o w n t h a t b i o l o g i c a l n e u r a l s y s t e m s u s e t h e t i m i n g

o f a s i n g l e a c t i o n p o t e n t i a l a s p i k e t o e n c o d e i n f o r m a t i o n . T h e r e f o r e , a m a t h e m a t i c a l

m o d e l f o r i n t e g r a t e a n d r e n e u r o n s o r s p i k i n g n e u r o n s h a s b e e n d e v e l o p e d 6 5 . A

n e t w o r k o f s u c h s p i k i n g n e u r o n s h a s p r o v e n t o b e a t l e a s t a s p o w e r f u l a s a s i g m o i d a l

P e r c e p t r o n w i t h s i m p l e r c i r c u i t s . S p i k i n g n e u r o n s a r e c o n s i d e r e d t h e t h i r d g e n e r a t i o n o f

n e u r a l m o d e l s a f t e r t h e M c C u l l o c h - P i t t s n e u r o n s a n d t h e n e u r o n s w i t h w e i g h t e d s u m o f

i n p u t s a n d c o n t i n u o u s a c t i v a t i o n f u n c t i o n s 1 2 5 .

2 . 4 A r t i c i a l n e u r a l n e t w o r k t o p o l o g i e s

T h e s i m p l e s t f o r m o f a n a r t i c i a l n e u r a l n e t w o r k i s t h e s i n g l e - l a y e r P e r c e p t r o n F i g -

u r e 2 . 5 a . T h e i d e a o f c a s c a d i n g l a y e r s o f P e r c e p t r o n s m a y c o m e o r i g i n a l l y f r o m t h e

k n o w l e d g e o f t h e o r g a n i z a t i o n o f t h e b r a i n , w h e r e l a y e r i n g i s a c o m m o n a r c h i t e c t u r a l

f e a t u r e 1 2 8 . H o w e v e r , i t w a s n o t u n t i l t h e r e d i s c o v e r y o f t h e b a c k p r o p a g a t i o n a l g o r i t h m

r s t p u b l i s h e d i n 1 9 7 4 i n J . P . W e r b o s P h D t h e s i s B e y o n d R e g r e s s i o n 2 2 4 b y R u m e l -

h a r t , H i n t o n , a n d W i l l i a m s 1 7 4 t h a t M u l t i - L a y e r P e r c e p t r o n s M L P a n d , i n g e n e r a l ,

m u l t i - l a y e r n e u r a l n e t w o r k s F i g u r e 2 . 5 b f o u n d t h e i r p l a c e i n t h e h i s t o r y o f c o n n e c t i o n i s t

s y s t e m s .

A n o t h e r k i n d o f t o p o l o g y f o r n e u r a l n e t w o r k s w a s i n t r o d u c e d b y H o p e l d i n t h e

e a r l y 1 9 8 0 s a s a m o d e l o f m e m o r y 8 8 . T h e s e n e u r a l a r c h i t e c t u r e s p o s s e s s r e c u r r e n t

c o n n e c t i v i t y F i g u r e 2 . 5 c , w h i c h p r o v i d e s a s o r t o f s h o r t - t e r m m e m o r y a n d a d y n a m i c

b e h a v i o r . E v e n t u a l l y , t h e y n d a s t a b l e s t a t e t h a t a l l o w s t h e m t o s t o r e i n f o r m a t i o n .

S u c h n e t w o r k s c a n b e u s e d a s a s s o c i a t i v e m e m o r i e s w h i c h a r e c o n t e n t a d d r e s s a b l e , i . e . ,

a m e m o r i z e d p a t t e r n c a n b e r e t r i e v e d b y s p e c i f y i n g a p a r t o f i t .



2 . 5 L e a r n i n g i n a r t i c i a l n e u r a l n e t w o r k s 1 3

c) Hopfield network

d)Elman recurrent network

e) Competitive networksb) Multi-Layer Perceptron

a) Single-Layer Perceptron

f) Self-Organizing Maps

F i g u r e 2 . 5 : T y p i c a l a r t i c i a l n e u r a l n e t w o r k t o p o l o g i e s .

S i m i l a r l y , a r t i c i a l n e u r a l n e t w o r k s w i t h r e c u r r e n t c o n n e c t i o n s b e h a v i n g s o m e w h a t

l i k e s e q u e n t i a l l o g i c c i r c u i t s h a v e a l s o b e e n d e v e l o p e d F i g u r e 2 . 5 d f o r a p a r t i c u l a r e x -

a m p l e . T h e s e n e t w o r k s h a v e a s o r t o f s h o r t - t e r m m e m o r y a n d p r e v i o u s e x p e r i e n c e s

m a y h a v e a n e e c t o n t h e a c t i v a t i o n o f s u c h u n i t s . T h e y a r e w i d e l y u s e d w h e n s y s t e m s

d i s p l a y t e m p o r a l v a r i a t i o n a n d t e m p o r a l c o n t e x t d e p e n d e n c e 1 0 8 .

F i n a l l y , t h e s o c a l l e d c o m p e t i t i v e n e u r a l n e t w o r k s a n d s e l f - o r g a n i z i n g m a p s F i g -

u r e s 2 . 5 e a n d 2 . 5 f r e s p e c t i v e l y e x h i b i t a s p e c i a l a r r a n g e m e n t o f s e l f - e x c i t a t o r y a n d l a t -

e r a l i n h i b i t o r y c o n n e c t i o n s t h a t e n a b l e t h e m t o s e l f - o r g a n i z e a n d b u i l d i n p u t f e a t u r e

m a p s 1 0 7 .

2 . 5 L e a r n i n g i n a r t i c i a l n e u r a l n e t w o r k s

L e a r n i n g i s o f t e n a s s o c i a t e d w i t h i n c r e a s e o f k n o w l e d g e o r u n d e r s t a n d i n g , a n d i t c a n b e

a c h i e v e d b y s e l f - t e a c h i n g , i n s t r u c t i o n , o r e x p e r i e n c e . N e v e r t h e l e s s , i t i s v e r y d i c u l t t o

p r e c i s e l y d e n e l e a r n i n g , a n d e v e n m o r e d i c u l t t o d e t e r m i n e i f a m a c h i n e i s c a p a b l e o f




l e a r n i n g .

T h e E n g l i s h m a t h e m a t i c i a n A l a n T u r i n g w a s p e r h a p s t h e r s t p e r s o n t o p r o p o s e t h e

c h a l l e n g i n g q u e s t i o n C a n m a c h i n e s t h i n k ? i n h i s s e m i n a l a r t i c l e C o m p u t i n g m a c h i n e r y

a n d i n t e l l i g e n c e 2 1 4 . E v e n t h o u g h h e p r e d i c t e d , i n t h e s a m e a r t i c l e , t h a t a t t h e e n d

o f t h e c e n t u r y o n e w i l l b e a b l e t o s p e a k o f m a c h i n e s t h i n k i n g w i t h o u t e x p e c t i n g t o b e

c o n t r a d i c t e d , t h i s s u b j e c t i s s t i l l v e r y c o n t r o v e r s i a l .

U n d o u b t e d l y , t h i s c o n t r o v e r s y a n d t h e s u r p r i s i n g a d v a n c e s i n o u r u n d e r s t a n d i n g

o f t h e b r a i n t u r n t h i s a r e a o f r e s e a r c h i n a r e a l l y f a s c i n a t i n g o n e . P r o v i d i n g n o t o n l y

n e w e n g i n e e r i n g s o l u t i o n s b u t a l s o n e w w a y s t o a p p r o a c h p h i l o s o p h i c a l q u e s t i o n s a b o u t

i l l - d e n e d c o n c e p t s l i k e a u t o n o m y , l e a r n i n g , i n t e l l i g e n c e , i n t e n t i o n a l i t y , c o n s c i o u s n e s s ,

e t c .

N o r b e r t W i e n e r , t h e f a t h e r o f c y b e r n e t i c s , p r e s e n t e d a v e r y g e n e r a l b u t s t r u c t u r e d

d e n i t i o n o f l e a r n i n g :

T o b e g i n w i t h l e a r n i n g m a c h i n e s : a n o r g a n i z e d s y s t e m m a y b e s a i d t o b e

o n e w h i c h t r a n s f o r m s a c e r t a i n i n c o m i n g m e s s a g e i n t o a n o u t g o i n g m e s s a g e ,

a c c o r d i n g t o s o m e p r i n c i p l e o f t r a n s f o r m a t i o n . I f t h i s p r i n c i p l e o f t r a n s f o r -

m a t i o n i s s u b j e c t t o a c e r t a i n c r i t e r i o n o f m e r i t o f p e r f o r m a n c e , a n d i f t h e

m e t h o d o f t r a n s f o r m a t i o n i s a d j u s t e d s o a s t o t e n d t o i m p r o v e t h e p e r f o r m a n c e

o f t h e s y s t e m a c c o r d i n g t o t h i s c r i t e r i o n , t h e s y s t e m i s s a i d t o l e a r n 2 3 1 .

I n t h e a r t i c i a l n e u r a l n e t w o r k c o n t e x t , l e a r n i n g i s t h u s c l o s e l y r e l a t e d t o a n i m p r o v e -

m e n t o f p e r f o r m a n c e o f t h e s y s t e m . T h i s i s a c h i e v e d b y m i n i m i z i n g a n e r r o r m e t r i c s , b y

s e l f - o r g a n i z i n g i n f o r m a t i o n t h r o u g h c o r r e l a t i o n s o f t h e d a t a , o r b y m a x i m i z i n g r e w a r d s

i n a t r i a l - a n d - e r r o r s y s t e m o v e r t i m e . I n p r a c t i c e , l e a r n i n g i n a r t i c i a l n e u r a l n e t w o r k s i s

a c h i e v e d b y a p r o p e r a d j u s t m e n t o f t h e i n t e r c o n n e c t i o n w e i g h t s b e t w e e n a r t i c i a l n e u r o n s

a n d s o m e t i m e s b y t o p o l o g y a d a p t a t i o n 1 5 3 .

A l e a r n i n g a l g o r i t h m r e f e r s t o a p r o c e d u r e i n w h i c h l e a r n i n g r u l e s a r e u s e d f o r

a d j u s t i n g t h e w e i g h t s o f a n a r t i c i a l n e u r a l n e t w o r k , a n d p o s s i b l y i t s t o p o l o g y , i . e . , t h e

n u m b e r o f l a y e r s , t h e n u m b e r o f n e u r o n s , a n d t h e p a t t e r n o f c o n n e c t i o n s . S o f a r , t h e

o n l y b i o l o g i c a l l y r e a l i s t i c l e a r n i n g r u l e i s t h e w e l l - k n o w n H e b b ' s r u l e , w h i c h s t a t e s t h a t

w h e n t w o i n t e r c o n n e c t e d n e u r o n s r e a t t h e s a m e t i m e , a n d r e p e a t e d l y , t h e s y n a p s e ' s

s t r e n g t h i s i n c r e a s e d 8 3 .

H e b b ' s r u l e h a s i n s p i r e d a l a r g e n u m b e r o f l e a r n i n g a l g o r i t h m s w h i c h c a n b e c l a s -

s i e d i n t o t h r e e m a i n l e a r n i n g p a r a d i g m s : s u p e r v i s e d , u n s u p e r v i s e d , a n d r e i n f o r c e m e n t

l e a r n i n g .

2 . 5 . 1 S u p e r v i s e d l e a r n i n g

I n s u p e r v i s e d l e a r n i n g o r l e a r n i n g w i t h a t e a c h e r , t h e t r a i n i n g i n p u t s a r e p r o v i d e d

t o g e t h e r w i t h t h e d e s i r e d o u t p u t s . A b a s i c p r i n c i p l e o f t h i s k i n d o f l e a r n i n g a l g o r i t h m s

i s e r r o r c o r r e c t i o n : a n e r r o r v a l u e i s g e n e r a t e d f r o m t h e a c t u a l r e s p o n s e o f t h e n e t w o r k

a n d t h e d e s i r e d r e s p o n s e , t h e n , t h e w e i g h t s a r e m o d i e d s o t h a t t h e e r r o r i s g r a d u a l l y

r e d u c e d . T o s o l v e t h e s u p e r v i s e d l e a r n i n g p r o b l e m , t w o s t e p s a r e r e q u i r e d : r s t , w e

m u s t s p e c i f y t h e t o p o l o g y o f t h e n e t w o r k a n d , s e c o n d , w e m u s t s p e c i f y t h e l e a r n i n g r u l e .



2 . 5 L e a r n i n g i n a r t i c i a l n e u r a l n e t w o r k s 1 5

C u r r e n t l y , b a c k p r o p a g a t i o n 2 2 4 i s t h e m o s t p o p u l a r l e a r n i n g a l g o r i t h m f o r a r t i c i a l

n e u r a l n e t w o r k s . I t i s u s e d i n a b o u t 7 0 o f r e a l - w o r l d a p p l i c a t i o n s 2 2 5 . N e v e r t h e l e s s ,

a v a s t a m o u n t o f r e s e a r c h a i m s a t i m p r o v i n g i t s g e n e r a l i z a t i o n i . e . , t h e a b i l i t y t o p r e d i c t

a n o u t p u t f o r a p r e v i o u s l y u n s e e n i n p u t , i t s l e a r n i n g s p e e d , a n d i t s f a u l t - t o l e r a n c e i . e . ,

t h e a b i l i t y t o p e r f o r m w e l l i n s p i t e o f n o i s e o r f a u l t s .

S u p e r v i s e d n e u r a l n e t w o r k s h a v e b e e n u s e d i n a w i d e r a n g e o f a p p l i c a t i o n s w h i c h

b a s i c a l l y f a l l i n t o t h r e e c a t e g o r i e s : 1 c l a s s i c a t i o n a n d d i a g n o s i s , 2 f u n c t i o n a p p r o x -

i m a t i o n , c o m p r e s s i o n , f e a t u r e e x t r a c t i o n , a n d q u a n t i z a t i o n , a n d , 3 o p t i m i z a t i o n . T h i s

a p p r o a c h c a n b e g e n e r a l l y s e e n a s a l e a r n e d o n e s i n c e t h e n e t w o r k d o e s n o t c h a n g e a f -

t e r i t s t r a i n i n g 1 9 3 . O u r w o r k i s m o s t l y r e l a t e d t o t h e o t h e r t w o l e a r n i n g p a r a d i g m s :

r e i n f o r c e m e n t a n d u n s u p e r v i s e d l e a r n i n g .

2 . 5 . 2 R e i n f o r c e m e n t l e a r n i n g

R e i n f o r c e m e n t l e a r n i n g i s a s y n o n y m o f l e a r n i n g b y i n t e r a c t i o n : d u r i n g l e a r n i n g , t h e

a d a p t i v e s y s t e m t r i e s s o m e a c t i o n s i . e . , o u t p u t v a l u e s o n i t s e n v i r o n m e n t a n d i t i s r e i n -

f o r c e d b y r e c e i v i n g a s c a l a r e v a l u a t i o n t h e r e w a r d o f t h e s e a c t i o n s . T h e r e i n f o r c e m e n t

l e a r n i n g a l g o r i t h m s s e l e c t i v e l y r e t a i n t h e o u t p u t s t h a t m a x i m i z e t h e r e c e i v e d r e w a r d o v e r

t i m e . R e i n f o r c e m e n t l e a r n i n g c l e a r l y d i e r s f r o m s u p e r v i s e d l e a r n i n g m e t h o d s w h e r e e x -

p l i c i t i n p u t - o u t p u t e x a m p l e s a r e p r e s e n t e d e a c h t i m e t o t h e s y s t e m d u r i n g l e a r n i n g . T h e

t w o b a s i c c o n c e p t s b e h i n d r e i n f o r c e m e n t l e a r n i n g a r e t r i a l a n d e r r o r s e a r c h a n d d e l a y e d

r e w a r d . S e e C h a p t e r 5 f o r a m o r e d e t a i l e d d e s c r i p t i o n o f t h i s m e t h o d s .

R e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a r e s t r a i g h t f o r w a r d a p p r o a c h e s t o i m p l e m e n t i n g

r e a l o n l i n e s y s t e m s c a p a b l e o f l e a r n i n g f r o m e x p e r i e n c e . I t h a s b e e n w i d e l y u s e d i n

l e a r n i n g g a m e s B a c k g a m m o n 2 0 4 , C h e s s 1 1 4 , C h e c k e r s 1 7 6 , e t c , c o n t r o l p r o b l e m s ,

d y n a m i c c h a n n e l a l l o c a t i o n i n c e l l u l a r t e l e p h o n e s y s t e m s , p a c k e t r o u t i n g i n d y n a m i c a l l y

c h a n g i n g n e t w o r k s , i m p r o v i n g e l e v a t o r p e r f o r m a n c e 2 0 0 , l e a r n i n g a u t o n o m o u s a g e n t s

a n d r o b o t s C h a p t e r 6 , e t c .

2 . 5 . 3 U n s u p e r v i s e d l e a r n i n g

U n s u p e r v i s e d l e a r n i n g n e u r a l n e t w o r k s c l u s t e r , c o d e , o r c a t e g o r i z e i n p u t d a t a : s i m i l a r

i n p u t s a r e c l a s s i e d a s b e i n g i n t h e s a m e c a t e g o r y , a n d s h o u l d a c t i v a t e t h e s a m e o u t p u t

u n i t , c o r r e s p o n d i n g t o a p r o t o t y p e o f t h e c a t e g o r y . C l u s t e r s a r e d e t e r m i n e d b y t h e

n e t w o r k i t s e l f , b a s e d o n c o r r e l a t i o n s o f t h e i n p u t s 8 5 .

A b a s i c p r i n c i p l e o f u n s u p e r v i s e d l e a r n i n g i s c o m p e t i t i o n : o u t p u t u n i t s c o m p e t e

a m o n g t h e m s e l v e s f o r a c t i v a t i o n . A s a r e s u l t , i n m o s t c o m p e t i t i v e l e a r n i n g a l g o r i t h m s

o n l y o n e o u t p u t n e u r o n i s a c t i v a t e d a t a n y g i v e n t i m e . T h i s i s a c h i e v e d b y m e a n s o f a s o

c a l l e d w i n n e r - t a k e - a l l o p e r a t i o n , w h i c h h a s b e e n f o u n d t o b e b i o l o g i c a l l y p l a u s i b l e 8 5 .

T h e s e t e c h n i q u e s a l l o w t h e i m p l e m e n t a t i o n o f v e r y p o w e r f u l f e a t u r e e x t r a c t i o n m o d -

u l e s f o r a u t o n o m o u s l e a r n i n g s y s t e m s , a s w e w i l l s h o w i n C h a p t e r 4 . M o r e o v e r , t h e y h a v e

b e e n w i d e l y u s e d i n c l u s t e r i n g t a s k s , d a t a d i m e n s i o n a l i t y r e d u c t i o n , d a t a m i n i n g d a t a

o r g a n i z a t i o n f o r e x p l o r a t i o n a n d s e a r c h , i n f o r m a t i o n e x t r a c t i o n , d e n s i t y a p p r o x i m a t i o n ,

d a t a c o m p r e s s i o n , e t c . 8 5 .




2 . 6 A r t i c i a l n e u r a l n e t w o r k t o p o l o g y a d a p t a t i o n

A s w e h a v e s e e n i n t h e l a s t s e c t i o n , m o s t n e u r a l n e t w o r k m o d e l s b a s e t h e i r a b i l i t y t o a d a p t

t o p r o b l e m s o n c h a n g i n g t h e s t r e n g t h o f t h e i r i n t e r c o n n e c t i o n s a c c o r d i n g t o t h e l e a r n i n g

a l g o r i t h m . H o w e v e r , t h e l a c k o f k n o w l e d g e i n d e t e r m i n i n g t h e a p p r o p r i a t e t o p o l o g y ,

i n c l u d i n g t h e n u m b e r o f l a y e r s , t h e n u m b e r o f n e u r o n s p e r l a y e r , a n d t h e i n t e r c o n n e c t i o n

s c h e m e , o f t e n s e t s a n a - p r i o r i l i m i t o n p e r f o r m a n c e . F o r e x a m p l e , i f a n e t w o r k i s t o o

s m a l l , i t d o e s n o t a c c u r a t e l y a p p r o x i m a t e t h e d e s i r e d i n p u t t o o u t p u t m a p p i n g . T h i s

p r o b l e m i s k n o w n a s o v e r s m o o t h i n g . I f a n e t w o r k i s t o o l a r g e , i t r e q u i r e s l o n g e r t r a i n i n g

t i m e s a n d m a y n o t g e n e r a l i z e w e l l , t h a t i s , i t m a y c o r r e c t l y m a p t h e t r a i n i n g e x a m p l e s

b u t g i v e i n c o r r e c t o u t p u t s a t o t h e r p o i n t s p r e v i o u s l y u n s e e n , b u t r e l a t e d t o t h e s a m e

p r o b l e m . T h i s p r o b l e m i s k n o w n a s o v e r t t i n g . F i g u r e 2 . 6 i l l u s t r a t e s t h i s p h e n o m e n o n :

a s t i m e p a s s e s , t h e t r a i n i n g e r r o r d i m i n i s h e s , w h e r e a s t h e t e s t e r r o r i n c r e a s e s 1 6 6 .

a) b) c)

approximation

Overfitted

x

f(x)

x

f(x) Training data

Oversmoothedapproximation

x

f(x)

E R R O R

TRAINING TIME

Test error

Training error

Oversmoothing

or overfitting

Overtraining

F i g u r e 2 . 6 : E v o l u t i o n o f t h e e r r o r o f t h e s y s t e m o v e r t h e t r a i n i n g a n d t h e t e s t p a t t e r n s i n t i m e .

I n a w e p r e s e n t t h e p r o b l e m o f o v e r s m o o t h i n g p o o r a p p r o x i m a t i o n , b p r e s e n t s a g o o d

a p p r o x i m a t i o n , a n d c t h e p r o b l e m o f o v e r t t i n g l o s s o f g e n e r a l i z a t i o n a b i l i t y .

I t i s n o t o b v i o u s h o w t o d e t e r m i n e a g o o d n e u r a l n e t w o r k t o p o l o g y f o r a g i v e n

t a s k , i . e . , h o w t o s u c c e s s f u l l y m a n a g e t h e b i a s - v a r i a n c e d i l e m m a 1 8 0 t h e t r a d e o b e -

t w e e n o v e r t t i n g a n d o v e r s m o o t h i n g , a n d t h e s t a b i l i t y - p l a s t i c i t y d i l e m m a 3 7 h o w c a n

a l e a r n i n g s y s t e m p r e s e r v e w h a t i t h a s p r e v i o u s l y l e a r n e d , w h i l e c o n t i n u i n g t o i n c o r p o -

r a t e n e w k n o w l e d g e . T h e o r e t i c a l w o r k s t r y i n g t o d e t e r m i n e t h e s t r u c t u r e o f a n a r t i c i a l

n e u r a l n e t w o r k i n c l u d e t h e u s e o f t h e s o c a l l e d V a p n i k - C h e r v o n e n k i s d i m e n s i o n o r s i m -

p l y V C - d i m e n s i o n , w h i c h i s d e n e d a s t h e m a x i m u m s i z e o f a s e t o f e x a m p l e s s h a t t e r e d

b y t h e n e u r a l n e t w o r k a s e t o f e x a m p l e s S i s s a i d t o b e s h a t t e r e d b y a n e u r a l n e t w o r k

i f i t r e a l i z e s a l l t h e d i c h o t o m i e s o f S , a n d w h i c h i n m a n y c a s e s c a n b e r e l a t e d t o t h e

s t r u c t u r e o f t h e n e t w o r k 1 2 4 . O t h e r a p p r o a c h e s i n c l u d e m o d u l a r n e u r a l n e t w o r k s t h a t



2 . 6 A r t i c i a l n e u r a l n e t w o r k t o p o l o g y a d a p t a t i o n 1 7

a t t e m p t t o o v e r c o m e t h e s e p r o b l e m s b y a l l o w i n g d i e r e n t t y p e s o f n e u r a l n e t w o r k s t o b e

c o n n e c t e d a s m o d u l e s o f a w h o l e n e t w o r k . F i n a l l y , t w o d i e r e n t s t r a t e g i e s h a v e b e e n u s e d

t o d e t e r m i n e o r a d a p t t h e t o p o l o g y o f a r t i c i a l n e u r a l n e t w o r k s : t h e u s e o f e v o l u t i o n a r y

t e c h n i q u e s a n d t h e d e v e l o p m e n t o f o n t o g e n i c n e u r a l a r c h i t e c t u r e s .

Neural

(phenotype)

architecture

(genotype)

Bit-string encoding

GENOTYPE

Decoding

Fitness evaluation

Offspring

ANN training

Mutation

PHENOTYPE

Selection

Recombination

F i g u r e 2 . 7 : E v o l u t i o n a r y d e s i g n o f a r t i c i a l n e u r a l n e t w o r k s . A s e t p o p u l a t i o n o f b i t - s t r i n g s

g e n o m e s u s e d t o e n c o d e p o s s i b l e a r t i c i a l n e u r a l n e t w o r k t o p o l o g i e s i s r s t g e n e r a t e d a t

r a n d o m . A t e v e r y e v o l u t i o n a r y s t e p g e n e r a t i o n t h e d i e r e n t g e n o m e s a r e d e c o d e d t o c o n s t r u c t

a r t i c i a l n e u r a l n e t w o r k s t o b e t e s t e d o n a g i v e n p r o b l e m . A n e v a l u a t i o n t n e s s i s o b t a i n e d

f r o m s u c h t e s t s . T o f o r m a n e w g e n e r a t i o n o f p o s s i b l e n e u r a l t o p o l o g i e s s o l u t i o n s , i n d i v i d u a l s

g e n o m e s a r e s e l e c t e d a c c o r d i n g t o t h e i r t n e s s a n d m o d i e d b y g e n e t i c o p e r a t i o n s m u t a t i o n

a n d c r o s s o v e r u n t i l a g o o d s o l u t i o n i s f o u n d .

2 . 6 . 1 E v o l u t i o n a r y d e s i g n o f a r t i c i a l n e u r a l n e t w o r k s

E v o l u t i o n a r y t e c h n i q u e s s u c h a s g e n e t i c a l g o r i t h m s h a v e a l s o b e e n p r o p o s e d f o r t h e

d e s i g n o f a r t i c i a l n e u r a l n e t w o r k s 2 1 , 1 4 8 , 2 4 0 . B o t h t h e n e t w o r k w e i g h t s a n d t h e

t o p o l o g y c a n b e c o d e d i n t o b i t - s t r i n g s , w h i c h a r e t h e n e v o l v e d w i t h s u c h a l g o r i t h m s

F i g u r e 2 . 7 . H o w e v e r , s i n c e o n e o f o u r o b j e c t i v e s i s d i g i t a l i m p l e m e n t a t i o n a n d w e a r e

p a r t i c u l a r l y i n t e r e s t e d i n a c h i e v i n g o n l i n e a d a p t a t i o n , i t w o u l d b e v e r y d i c u l t t o i m p l e -

m e n t a p o p u l a t i o n o f n e u r a l n e t w o r k s : a t b e s t , e a c h i n d i v i d u a l n e u r a l n e t w o r k w o u l d b e

i m p l e m e n t e d s e q u e n t i a l l y , r e n d e r i n g t h e t o p o l o g y a d a p t a t i o n a n o - l i n e t a s k 1 5 5 . F u r -

t h e r m o r e , t h i s k i n d o f a p p r o a c h r e q u i r e s t h a t e v e r y n e u r a l a r c h i t e c t u r e t h e p h e n o t y p e

b e t e s t e d i n o r d e r t o d e t e r m i n e t h e t n e s s o f t h e c o r r e s p o n d i n g b i t - s t r i n g e n c o d i n g t h e

g e n o t y p e , a c o m p u t a t i o n a l l y e x p e n s i v e t a s k .

T o o v e r c o m e t h e p r o b l e m o f i m p l e m e n t i n g p o p u l a t i o n s o f a r t i c i a l n e u r a l n e t w o r k s

s o m e r e s e a r c h e r s h a v e d e v e l o p e d l e a r n i n g a l g o r i t h m s t h a t n o t o n l y a d a p t t h e i n t e r c o n -

n e c t i o n w e i g h t s b e t w e e n n e u r o n s , b u t a l s o a c t i v a t e n e w n e u r o n s a n d c r e a t e o r d e l e t e

i n t e r c o n n e c t i o n s b e t w e e n n e u r o n s w i t h i n a n i n d i v i d u a l a r t i c i a l n e u r a l n e t w o r k . S o m e o f

t h o s e a l g o r i t h m s w e r e i m p r o p e r l y c a l l e d e v o l v a b l e a r t i c i a l n e u r a l n e t w o r k s 8 4 , 1 4 6 , 1 5 5 .

A s p e c i a l c l a s s o f l e a r n i n g a l g o r i t h m s w a s t h u s i n t r o d u c e d t o o v e r c o m e t h e a b o v e

p r o b l e m s , o e r i n g t h e p o s s i b i l i t y o f d y n a m i c a l l y m o d i f y i n g t h e n e t w o r k ' s t o p o l o g y , t h u s




p r o v i d i n g c o n s t r u c t i v e i n c r e m e n t a l l e a r n i n g . A r t i c i a l n e u r a l n e t w o r k s m a k i n g u s e o f

t h e s e k i n d o f l e a r n i n g a l g o r i t h m s h a v e b e e n c a l l e d o n t o g e n i c a r t i c i a l n e u r a l n e t w o r k s

a s a n a n a l o g y b e t w e e n t h e s t r u c t u r a l d e v e l o p m e n t o f t h e n e t w o r k s a n d t h e d e v e l o p m e n t

o f i n d i v i d u a l o r g a n i s m s i . e . , o n t o g e n y .

2 . 6 . 2 O n t o g e n i c a r t i c i a l n e u r a l n e t w o r k s

O n t o g e n i c a r t i c i a l n e u r a l n e t w o r k s a r e n e t w o r k s t h a t e x p l o i t i n c r e m e n t a l l e a r n i n g a l g o -

r i t h m s t o m o d i f y b o t h t h e i n t e r c o n n e c t i o n w e i g h t s b e t w e e n n e u r o n s a n d t h e t o p o l o g y o f

t h e n e t w o r k i t s e l f 5 9 .

W e i g h t a d a p t a t i o n i s a c h i e v e d u s i n g s t a n d a r d l e a r n i n g r u l e s e . g . H e b b i a n l e a r n i n g -

l i k e r u l e s , w h i l e t o p o l o g y a d a p t a t i o n i s a c h i e v e d t h r o u g h t w o m e c h a n i s m s : g r o w t h a n d

p r u n i n g . T h e f o r m e r t y p i c a l l y s t a r t s w i t h s m a l l n e t w o r k s a n d a d d s u n i t s o r c o n n e c t i o n s t o

t h e n e t w o r k t o b e t t e r a p p r o x i m a t e a g i v e n f u n c t i o n . T h e l a t t e r s t a r t s w i t h l a r g e n e t w o r k s

a n d p r u n e s o r r e m o v e s p a r t s t h a t a r e n o t n e e d e d , i n o r d e r t o s h r i n k t h e n e t w o r k s a n d

a v o i d o v e r t t i n g . O n t o g e n i c n e u r a l n e t w o r k s i n c l u d e s u p e r v i s e d g r o w i n g a l g o r i t h m s s u c h

a s t h e c a s c a d e - c o r r e l a t i o n a l g o r i t h m 5 7 , t h e U p s t a r t a l g o r i t h m 6 3 , a n d t h e M e i o s i s

a l g o r i t h m 1 6 , u n s u p e r v i s e d g r o w i n g a l g o r i t h m s s u c h a s A R T 3 7 a n d t h e G r o w i n g C e l l

S t r u c t u r e s 6 4 , p r u n i n g a l g o r i t h m s s u c h a s w e i g h t d e c a y , O p t i m a l B r a i n D a m a g e , a n d

O p t i m a l B r a i n S u r g e o n 1 6 .

2 . 7 S u m m a r y

A r t i c i a l n e u r a l n e t w o r k s a r e m a s s i v e l y p a r a l l e l c o m p u t i n g m a c h i n e s i n s p i r e d b y b i o l o g -

i c a l n e r v o u s s y s t e m s , w h e r e l e a r n i n g f r o m e x a m p l e s a n d l e a r n i n g b y i n t e r a c t i o n r e p l a c e s

p r o g r a m m i n g i n o r d e r t o p r o v i d e a d a p t i v i t y . W h i l e l e a r n i n g i s o f t e n a s s o c i a t e d w i t h i n -

c r e a s e o f k n o w l e d g e o r u n d e r s t a n d i n g , a n d c a n b e a c h i e v e d b y s e l f - t e a c h i n g , i n s t r u c t i o n

o r e x p e r i e n c e , i t i s v e r y d i c u l t t o p r e c i s e l y d e n e . I n t h e a r t i c i a l n e u r a l n e t w o r k c o n -

t e x t i t i s c l o s e l y r e l a t e d t o p r o p e r a d j u s t m e n t o f i n t e r c o n n e c t i o n w e i g h t s . W e a r g u e t h a t

l e a r n i n g i s a l s o c l o s e l y r e l a t e d t o t o p o l o g y a d a p t a t i o n , s i n c e t h e b e h a v i o r o f a n a r t i c i a l

n e u r a l m o d e l i s a l s o v e r y d e p e n d e n t o n t h e n e t w o r k ' s t o p o l o g y , t h a t i s , t h e n u m b e r o f

l a y e r s , t h e n u m b e r o f n e u r o n s , a n d t h e p a t t e r n o f c o n n e c t i o n s . A s p e c i a l c l a s s o f l e a r n i n g

a l g o r i t h m s h a s b e e n i n t r o d u c e d t o o v e r c o m e s u c h p r o b l e m s b y o e r i n g t h e p o s s i b i l i t y o f

d y n a m i c a l l y m o d i f y i n g t h e n e t w o r k ' s t o p o l o g y , t h u s p r o v i d i n g c o n s t r u c t i v e i n c r e m e n t a l

l e a r n i n g . S u c h n e t w o r k s h a v e b e e n c a l l e d o n t o g e n i c n e u r a l n e t w o r k s , a n d a r e r e l a t e d t o

a w i d e v a r i e t y o f l e a r n i n g a l g o r i t h m s f o r b o t h s u p e r v i s e d a n d u n s u p e r v i s e d l e a r n i n g . T o

o u r k n o w l e d g e , t h e r e a r e n o r e f e r e n c e s t o o n t o g e n i c r e i n f o r c e m e n t l e a r n i n g n e t w o r k s i n

t h e l i t e r a t u r e . H o w e v e r , w e w i l l s e e i n C h a p t e r 5 t h a t s o m e a p p r o a c h e s i m p l y a n i n h e r e n t

s t r u c t u r e a d a p t a t i o n i n r e i n f o r c e m e n t l e a r n i n g n e t w o r k s .



C h a p t e r 3

N e u r a l H a r d w a r e

W h y c a n n o t w e w r i t e t h e e n t i r e 2 4 v o l u m e s o f t h e

E n c y c l o p e d i a B r i t a n n i c a o n t h e h e a d o f a p i n ?

- R . P . F e y n m a n

N

e u r o n a l s y s t e m s a r e d i c u l t t o s i m u l a t e b e c a u s e t h e y c o n s i s t o f a l a r g e n u m b e r

o f g e n e r a l l y n o n l i n e a r e l e m e n t s a n d h a v e a w i d e r a n g e o f t i m e c o n s t a n t s . T h e

m a t h e m a t i c a l b e h a v i o r o f s u c h s y s t e m s c a n r a r e l y b e s o l v e d a n a l y t i c a l l y 5 3 .

H o w e v e r , t y p i c a l a r t i c i a l n e u r a l s y s t e m s a r e v e r y s i m p l i e d v e r s i o n s o f b i o l o g i c a l s y s -

t e m s .

A n e u r a l n e t w o r k m o d e l c a n b a s i c a l l y b e i m p l e m e n t e d o r s i m u l a t e d i n t h r e e m a i n

w a y s : b y p r o g r a m m i n g a g e n e r a l - p u r p o s e c o m p u t e r , b y p r o g r a m m i n g a n e u r a l n e t w o r k

d e d i c a t e d m a c h i n e , i . e . , a n e u r o c o m p u t e r , o r b y b u i l d i n g a s p e c i a l - p u r p o s e d e v i c e t o

i m p l e m e n t a p a r t i c u l a r n e t w o r k a n d l e a r n i n g a l g o r i t h m 1 3 . A g e n e r a l - p u r p o s e m a c h i n e

c a n s i m u l a t e a n y n e u r a l n e t w o r k m o d e l a n d a n y l e a r n i n g a l g o r i t h m , t h o u g h t h e s p e e d o f

s u c h s i m u l a t i o n s t e n d s t o b e s l o w . D e d i c a t e d n e u r a l n e t w o r k m a c h i n e s m a y w o r k f a s t e r ,

b u t t h e y a r e t y p i c a l l y m o r e d i c u l t t o p r o g r a m . S p e c i a l - p u r p o s e h a r d w a r e p r o v i d e s

s u c i e n t p e r f o r m a n c e f o r r e a l - t i m e i n t e r a c t i o n , b u t i t u s u a l l y d e m a n d s a s i g n i c a n t

i n v e s t m e n t 1 1 8 .

I t w a s o f t e n a s s u m e d , i n t h e e a r l y y e a r s o f n e u r a l n e t w o r k r e s e a r c h , t h a t i m p l e m e n -

t a t i o n i n s p e c i a l h a r d w a r e w o u l d b e r e q u i r e d t o f u l l y e x p l o i t t h e n e t w o r k s ' c a p a b i l i t i e s .

S u c h h a r d w a r e , i n p a r t i c u l a r , w o u l d p r o b a b l y b e a n a l o g a n d i n v o l v e h e a v i l y i n t e r c o n -

n e c t e d m u l t i p l e p a r a l l e l p r o c e s s i n g e l e m e n t s P E . H o w e v e r , t h e t r e m e n d o u s g r o w t h i n

t h e d i g i t a l c o m p u t i n g p o w e r o f c o n v e n t i o n a l v o n N e u m a n n m a c h i n e s h a s a l l o w e d s o f t w a r e

n e u r a l n e t w o r k s i m u l a t i o n s t o a c h i e v e g r e a t s u c c e s s i n a n u m b e r o f a p p l i c a t i o n s 1 1 7 .

I n d e e d , o n e o f t h e p r o b l e m s f a c i n g t h e d e s i g n e r o f n e u r a l n e t w o r k h a r d w a r e i s t h e A m -

d a h l l a w , w h i c h s t a t e s t h a t p a r a l l e l i z a t i o n i s e c i e n t o n l y w h e n a s u b s t a n t i a l p a r t o f

a t a s k c a n b e p a r a l l e l i z e d . F o r e x a m p l e , s p e e d u p s o f 1 0 o r m o r e c a n b e a c h i e v e d o n l y

w h e n 9 0 o r m o r e o f t h e p r o g r a m e x e c u t i o n c a n b e m a d e p a r a l l e l 9 7 , 1 1 7 .

1 9



2 0 3 . N e u r a l H a r d w a r e

T h e r s t a t t e m p t s t o b u i l d s p e c i a l h a r d w a r e f o r a r t i c i a l n e u r a l n e t w o r k s d a t e b a c k

t o t h e 1 9 5 0 s . I n 1 9 5 1 , M a r v i n M i n s k y b u i l t t h e r s t r a n d o m l y w i r e d n e u r a l n e t w o r k

l e a r n i n g m a c h i n e c a l l e d S N A R C , f o r S t o c h a s t i c N e u r a l - A n a l o g R e i n f o r c e m e n t C o m -

p u t e r , s i m u l a t i n g a d a p t i v e w e i g h t s w i t h p o t e n t i o m e t e r s . I n t h e l a t e 1 9 5 0 s , R o s e n b l a t t

i m p l e m e n t e d t h e r s t P e r c e p t r o n s u s i n g v a r i a b l e r e s i s t o r s i n m u c h t h e s a m e w a y a s

M i n s k y . I n t h e e a r l y 1 9 6 0 s , W i d r o w a n d H o u s e d c u s t o m e l e m e n t s c a l l e d m e m i s t o r s ,

e l e c t r i c a l l y v a r i a b l e r e s i s t o r s , t o i m p l e m e n t A d a l i n e a n d M a d a l i n e n e t w o r k s 2 2 9 . I n t h e

l a t e 1 9 6 0 s a n d 1 9 7 0 s , A l e k s a n d e r p r o p o s e d t h e r s t d i g i t a l l o g i c m o t i v a t e d l e a r n i n g n e t -

w o r k s m o d e l i n g t h e n e u r o n w i t h a r a n d o m a c c e s s m e m o r y 4 , 5 8 . T h e s e e a r l y w e i g h t l e s s

m o d e l s e v o l v e d i n t o t h e s o c a l l e d R A M - b a s e d n e u r a l n e t w o r k s 5 , 1 7 , a n d h a v e u l t i m a t e l y

s e r v e d a s a s u b s t r a t e t o p r o p o s e a t h e o r y o f a r t i c i a l c o n s c i o u s n e s s 2 , 3 .

3 . 1 N e u r o m o r p h i c a n d f u n c t i o n a l a r t i c i a l n e u r a l n e t -

w o r k s

W e c a n d i s t i n g u i s h t w o c l a s s e s o f i m p l e m e n t a t i o n s o f a r t i c i a l n e u r a l n e t w o r k s : n e u -

r o m o r p h i c a n d f u n c t i o n a l . T h e f o r m e r c o n s i s t s o f t h o s e i m p l e m e n t a t i o n s t h a t t r y t o

d i r e c t l y m i m i c t h e m o r p h o l o g y a n d t h e p h y s i c s o f b i o l o g i c a l s y s t e m s . T h e l a t t e r c o m -

p r i s e s i m p l e m e n t a t i o n s o f b i o - i n s p i r e d e n g i n e e r i n g s o l u t i o n s , w h i c h t r y e x p l o i t t h e k n o w n

a d v a n t a g e s o f m o r e c o n v e n t i o n a l e n g i n e e r i n g t e c h n i q u e s .

C a r v e r M e a d a t C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y i n t r o d u c e d t h e t e r m N e u r o m o r -

p h i c E n g i n e e r i n g 1 3 4 f o r a n e w e l d b a s e d o n t h e d e s i g n a n d f a b r i c a t i o n o f a r t i c i a l

n e u r a l s y s t e m s , s u c h a s v i s i o n s y s t e m s , h e a d - e y e s y s t e m s , a n d r o v i n g r o b o t s , w h o s e a r -

c h i t e c t u r e a n d d e s i g n p r i n c i p l e s a r e b a s e d o n t h o s e o f b i o l o g i c a l n e r v o u s s y s t e m s . N e u -

r o m o r p h i c e n g i n e e r i n g h a s a w i d e r a n g e o f a p p l i c a t i o n s f r o m n o n l i n e a r a d a p t i v e c o n t r o l

o f c o m p l e x s y s t e m s t o t h e d e s i g n o f s m a r t s e n s o r s . M a n y o f t h e f u n d a m e n t a l p r i n c i p l e s

i n t h i s e l d , s u c h a s t h e u s e o f l e a r n i n g m e t h o d s a n d t h e d e s i g n o f p a r a l l e l h a r d w a r e ,

a r e i n s p i r e d b y b i o l o g i c a l s y s t e m s . T h e s e a r t i c i a l n e u r a l m o d e l s a r e c o m p o s e d o f t h e s o

c a l l e d s i l i c o n n e u r o n s , a n a l o g e l e c t r o n i c c i r c u i t s f a b r i c a t e d i n c o m p l e m e n t a r y m e t a l o x i d e

s e m i c o n d u c t o r C M O S m e d i u m u s i n g v e r y l a r g e s c a l e i n t e g r a t i o n V L S I . C M O S i s a

t e c h n o l o g y c o m m o n l y u s e d t o f a b r i c a t e t h e d i g i t a l c i r c u i t s f o u n d i n g e n e r a l - p u r p o s e d i g -

i t a l c o m p u t e r s . H o w e v e r , i n s i l i c o n n e u r o n s , t h i s t e c h n o l o g y i s u s e d t o c o n s t r u c t a n a l o g

c i r c u i t s w h o s e p h y s i c s i s a n a l o g o u s o f t h e p h y s i c s o f n e u r a l m e m b r a n e c o n d u c t i v i t y 5 3 .

F u n c t i o n a l a r t i c i a l n e u r a l n e t w o r k s n e e d n o t t o f o l l o w s t r i c t l y t h e p h y s i c s a n d o r g a -

n i z a t i o n o f b i o l o g i c a l n e u r a l s y s t e m s . I n s t e a d , t h e y g e n e r a l l y p r o t o f t h e h i g h - p r e c i s i o n

c o m p u t a t i o n a n d t h e r e l a t i v e l y s m a l l d e s i g n e o r t o f c l a s s i c a l d i g i t a l i m p l e m e n t a t i o n

t e c h n i q u e s .

A n a l o g v s . d i g i t a l i m p l e m e n t a t i o n s

A n a l o g i m p l e m e n t a t i o n s o f a r t i c i a l n e u r a l n e t w o r k s a r e e x t r e m e l y c o m p a c t w h e n c o m -

p a r e d w i t h d i g i t a l i m p l e m e n t a t i o n s , t h e y a r e i n h e r e n t l y p a r a l l e l a n d t h e i r p o w e r c o n -

s u m p t i o n i s v e r y l o w . H o w e v e r , s o m e c o n t r o v e r s y e x i s t s o n t h e s u b j e c t o f p r e c i s i o n a n d



3 . 2 D i g i t a l n e u r a l h a r d w a r e 2 1

w e i g h t s t o r a g e i n a n a l o g n e u r a l c o m p u t a t i o n 5 3 . T h e a n a l o g a l t e r n a t i v e h a s b e e n p a r -

t i c u l a r l y s u c c e s s f u l o n t h e d e s i g n o f n e u r o m o r p h i c s y s t e m s s u c h a s s i l i c o n r e t i n a s a n d

c o c h l e a s 1 3 4 a n d s i g n a l p r o c e s s i n g s y s t e m s 2 1 9 . T h e m o s t ' v i a b l e ' h o p e f o r e n g i n e e r s

s e e m s t o b e t h e d e v e l o p m e n t o f n e u r o m o r p h i c s e n s o r s t h a t c a n f e e d t h e i r r e a d i n g s o f t h e

e n v i r o n m e n t t o d i g i t a l e l e c t r o n i c s f o r s u b s e q u e n t p r o c e s s i n g 2 2 3 F i g u r e 3 . 1 .

Motor actions

Artificial retina

Artificial cochlea

Artificial nose

neurocontroller

Neuromorphic ASICs

Digital

F i g u r e 3 . 1 : M i x e d d i g i t a l - a n a l o g a r t i c i a l n e u r a l s y s t e m s . N e u r o m o r p h i c c i r c u i t s s e n s e t h e

e n v i r o n m e n t a n d f e e d t h e i r r e a d i n g s t o d i g i t a l e l e c t r o n i c s i m p l e m e n t i n g b r a i n - l i k e c o m p u t a t i o n .

3 . 2 D i g i t a l n e u r a l h a r d w a r e

D i g i t a l i m p l e m e n t a t i o n o f a r t i c i a l n e u r a l n e t w o r k s i n c l u d e t h e d e s i g n o f n e u r a l n e t w o r k

d e d i c a t e d m a c h i n e s i . e . , n e u r o c o m p u t e r s a n d t h e d e s i g n o f s p e c i a l - p u r p o s e c i r c u i t s t o

i m p l e m e n t a p a r t i c u l a r n e t w o r k a r c h i t e c t u r e a n d l e a r n i n g a l g o r i t h m 1 3 .

3 . 2 . 1 D i g i t a l n e u r o c o m p u t e r s

D i g i t a l n e u r o c o m p u t e r s a r e b a s i c a l l y m u l t i p r o c e s s o r s y s t e m s b a s e d o n c o m m e r c i a l o r

c u s t o m p r o c e s s o r s . I n m a n y c a s e s , c u s t o m p r o c e s s o r s h a v e b e e n d e s i g n e d f o r a r t i c i a l

n e u r a l n e t w o r k s , e v e n i f t h e y u s u a l l y r e q u i r e a m u c h m o r e i m p o r t a n t d e v e l o p m e n t e o r t .

M u l t i p r o c e s s o r s y s t e m s b a s e d o n c o m m e r c i a l p r o c e s s o r s h a v e t h e a d v a n t a g e o f s h o r t e r

d e s i g n t i m e , l o w e r c o s t , a n d s o f t w a r e s u p p o r t . F u r t h e r m o r e , t h e c o n s t a n t a d v a n c e m e n t




o f s t a n d a r d m i c r o p r o c e s s o r c h i p s a n d t h e e m e r g e n c e o f n e w a n d f a s t e r a l g o r i t h m s t e n d s

t o f a v o r t h i s l a s t a p p r o a c h 9 8 .

T w o a r c h i t e c t u r e s d o m i n a t e n e u r o p r o c e s s o r d e s i g n s : s i n g l e - i n s t r u c t i o n m u l t i p l e d a t a

S I M D a n d s y s t o l i c a r r a y s s y s t e m s . T h e f o r m e r e x e c u t e s t h e s a m e i n s t r u c t i o n i n p a r a l l e l

b u t o n d i e r e n t d a t a . T h e l a t t e r e x e c u t e s a s t e p o f a c a l c u l a t i o n b e f o r e p a s s i n g t h e r e s u l t s

t o t h e n e x t p r o c e s s o r i n a p i p e l i n e d m a n n e r . A c o m p l e t e r e v i e w o f t h e m o s t c o m m o n

h a r d w a r e a r c h i t e c t u r e s a n d n e u r o p r o c e s s o r a r c h i t e c t u r e s c a n b e f o u n d i n t h e t h e s e s o f

M o r e n o 1 4 6 a n d I e n n e 9 7 .

3 . 2 . 2 S p e c i a l - p u r p o s e d i g i t a l n e u r a l h a r d w a r e

S p e c i a l - p u r p o s e d i g i t a l n e u r a l h a r d w a r e i s u s e d t o s o l v e p r o b l e m s w i t h p a r t i c u l a r s p e e d

a n d o r a r e a r e q u i r e m e n t s . F r o m t h e u s e r ' s p o i n t o f v i e w w e c a n d i s t i n g u i s h t h r e e d i e r e n t

a p p r o a c h e s : o i n e l e a r n i n g , w h e r e l e a r n i n g i . e . , t h e m o d i c a t i o n o f t h e w e i g h t s o f

t h e l e a r n i n g s y s t e m o c c u r s o n a g e n e r a l - p u r p o s e m a c h i n e b e f o r e t h e l e a r n e d s y s t e m

i s i m p l e m e n t e d i n t h e n e u r a l h a r d w a r e , c h i p - o n - t h e - l o o p l e a r n i n g , w h e r e t h e l e a r n i n g

a l g o r i t h m i s e x e c u t e d o n a g e n e r a l - p u r p o s e m a c h i n e , b u t c o m p u t a t i o n s o f t h e l e a r n i n g

s y s t e m i . e . , t h e s u m s o f w e i g h t e d i n p u t s i s i m p l e m e n t e d u s i n g t h e n e u r a l c h i p , a n d o n -

c h i p l e a r n i n g , w h e r e t h e l e a r n i n g a l g o r i t h m a n d t h e l e a r n i n g s y s t e m a r e i m p l e m e n t e d o n

t h e n e u r a l h a r d w a r e . I n t h i s w o r k w e a r e i n t e r e s t e d p a r t i c u l a r l y i n t h e o n - c h i p l e a r n i n g

a p p r o a c h .

3 . 3 D a t a r e p r e s e n t a t i o n f o r c o m p u t a t i o n i n a r t i c i a l

n e u r a l n e t w o r k s

T h e r e a r e t w o b r o a d w a y s o f r e p r e s e n t i n g v a l u e s : a n a l o g a n d d i g i t a l . I n a n a l o g r e p -

r e s e n t a t i o n , t h e v a l u e i s r e p r e s e n t e d b y c o n t i n u o u s p h y s i c a l q u a n t i t i e s . I n t h e d i g i t a l

r e p r e s e n t a t i o n , t h e v a l u e i s r e p r e s e n t e d b y a n i t e s t r i n g o f s y m b o l s i . e . , a n a l p h a -

b e t 1 7 8 . T h e m o s t c o m m o n a l p h a b e t u s e d i n c o m p u t e r s c i e n c e i s c o m p o s e d o f t h e

s y m b o l s 0 a n d 1 , t h e b i n a r y d i g i t a l s y s t e m . A 1 , d i g i t s t r i n g i n s u c h a l p h a b e t i s c a l l e d a

b i t , a n d a s t r i n g o f s e v e r a l b i t s i s n o r m a l l y u s e d t o r e p r e s e n t n u m e r i c a l v a l u e s . O n e c a n

d i s t i n g u i s h t h r e e k i n d s o f d a t a r e p r e s e n t a t i o n d e p e n d i n g o n t h e m a n n e r o n e i n t e r p r e t s

t h e s t r i n g o f b i t s t h a t c o d e s a n u m e r i c a l v a l u e : p o s i t i o n a l , p r o b a b i l i s t i c , a n d r e d u n d a n t

r e p r e s e n t a t i o n .

3 . 3 . 1 P o s i t i o n a l r e p r e s e n t a t i o n

I n a p o s i t i o n a l r e p r e s e n t a t i o n , n u m e r i c v a l u e s a r e r e p r e s e n t e d a s s t r i n g s o f d i g i t s . T h e

s u m o f t h e v a l u e s o f a l l p o s i t i o n s i n t h e s t r i n g e q u a l s t h e v a l u e o f t h e s t r i n g . I n t h e

b i n a r y n u m b e r s y s t e m , f o r e x a m p l e , e a c h p o s i t i o n h a s a w e i g h t t h a t i s t w o t i m e s

g r e a t e r t h a n t h a t o f t h e p o s i t i o n t o t h e r i g h t , t h e r e f o r e , t h e b i n a r y n u m b e r b

n

: : : b

2

b

1

b

o

c o r r e s p o n d s t o



3 . 3 D a t a r e p r e s e n t a t i o n f o r c o m p u t a t i o n i n a r t i c i a l n e u r a l n e t w o r k s 2 3

n

X

i = 0

b

i

2

i

= b

0

2

0

+ b

1

2

1

+ b

2

2

2

+ : : : : b

n

2

n

3 . 1

T h r e e s y s t e m s f o r r e p r e s e n t i n g n u m e r i c a l v a l u e s i n t h e b i n a r y p o s i t i o n a l e n c o d i n g

h a v e b e e n w i d e l y i m p l e m e n t e d i n c o m p u t e r s y s t e m s : s i g n - a n d - m a g n i t u d e , o n e ' s c o m p l e -

m e n t , a n d t w o ' s c o m p l e m e n t . T h e m o s t p o p u l a r s y s t e m f o r x e d - p o i n t n u m b e r s y s t e m s

i s t h e t w o ' s c o m p l e m e n t , w h i l e s i g n - a n d - m a g n i t u d e n u m b e r s a r e m o r e f r e q u e n t l y u s e d i n

o a t i n g - p o i n t s y s t e m s .

0 1 0 1 0 10 0 = 0x2

bit

-8

most significant

+ 1x2 .... +1x2 + 0x2 = 0.32031250-1 -2 -7

.X =

bitleast significant

2 10

F i g u r e 3 . 2 : E x a m p l e o f p o s i t i o n a l v a l u e r e p r e s e n t a t i o n : 8 - b i t p r e c i s i o n x e d - p o i n t r e p r e s e n t a -

t i o n o f a n u n s i g n e d r e a l v a l u e X 2 0 ; 1 :

T h e p o s s i b l e o p e r a t i o n s o n b i n a r y c o d e d i n f o r m a t i o n a r e b a s e d o n B o o l e a n a l g e b r a ,

t h e m a t h e m a t i c a l f r a m e w o r k d e n e d b y t h e E n g l i s h m a t h e m a t i c i a n G e o r g e B o o l e 1 8 1 5 -

1 8 6 4 1 7 8 . P o s i t i o n a l b i n a r y r e p r e s e n t a t i o n s a r e t h e m o s t w i d e l y u s e d r e p r e s e n t a t i o n s

i n d i g i t a l c o m p u t a t i o n a l s y s t e m s , a n d t h u s i n a r t i c i a l n e u r a l n e t w o r k i m p l e m e n t a t i o n s .

3 . 3 . 2 P r o b a b i l i s t i c r e p r e s e n t a t i o n

I n s p i r e d b y b i o l o g y a n d b o r n o u t o f a d e s i r e t o p e r f o r m a n a l o g c o m p u t a t i o n s u s i n g d i g i t a l

f a b r i c a t i o n p r o c e s s e s , t h e s o - c a l l e d p u l s e s t r e a m a r i t h m e t i c s y s t e m s h a v e b e e n s t e a d i l y

i m p r o v e d s i n c e t h e i r i n c e p t i o n i n 1 9 8 6 7 7 . O n e e x a m p l e o f p u l s e s t r e a m a r i t h m e t i c

s y s t e m s i t t h e s o c a l l e d s t o c h a s t i c l o g i c 2 4 2 .

S t o c h a s t i c l o g i c i s a d i g i t a l t e c h n i q u e w h i c h r e a l i z e s p s e u d o - a n a l o g o p e r a t i o n s u s -

i n g s t o c h a s t i c a l l y c o d e d p u l s e s e q u e n c e s . C o m p u t a t i o n i s p e r f o r m e d b y m a n i p u l a t i n g

s t r e a m s o f r a n d o m b i t s w h i c h r e p r e s e n t r e a l v a l u e s u s i n g a p r o b a b i l i s t i c c o d i n g : t h e

n u m b e r r e p r e s e n t e d i s t h e p r o b a b i l i t y o f a b i t h a v i n g t h e v a l u e ' 1 ' . I f t w o r e a l v a l u e s a r e

r e p r e s e n t e d b y t w o n o n - c o r r e l a t e d r a n d o m b i t s t r e a m s i n t h i s w a y , t h e n t h e p r o d u c t o f

t h e t w o v a l u e s w i l l b e i m p l e m e n t e d b y t h e l o g i c a l A N D o f t h e t w o b i t s t r e a m s .

T h i s a p p r o a c h i m p l i e s t h a t t h e m u l t i p l i c a t i o n o f r e a l v a l u e s c a n b e a c h i e v e d u s i n g a

v e r y s m a l l a m o u n t o f l o g i c . F u r t h e r m o r e , i t h a s b e e n f o u n d t h a t t h e a c t i v a t i o n f u n c t i o n s

i . e . , a s i g m o i d o n e v e r y n e u r o n c a n a l s o b e e a s i l y i m p l e m e n t e d u s i n g v e r y s i m p l e d i g i t a l

c i r c u i t s . F i n a l l y , t h e p o t e n t i a l r e s p o n s e s p e e d o f t h i s t e c h n i q u e i s p a r t i c u l a r l y i n t e r e s t i n g

w h e n c o n s i d e r i n g t h e f a c t t h a t s u c c e s s i v e l a y e r s i n a n e t w o r k m a y b e p i p e l i n e d 1 9 2 .

H o w e v e r , s t o c h a s t i c v a l u e r e p r e s e n t a t i o n s r e q u i r e m o r e m e m o r y t h a n p o s i t i o n a l v a l u e

r e p r e s e n t a t i o n s : a n - b i t s t o c h a s t i c b i t - s t r e a m c a n r e p r e s e n t o n l y n + 1 v a l u e s .




100.4=011001010

b)a)

0

-

+

comparator

register

bit-stream

random number

Clk

generation

stochastic

Example of stochastic coding

F i g u r e 3 . 3 : E x a m p l e o f s t o c h a s t i c v a l u e r e p r e s e n t a t i o n a n d g e n e r a t i o n o f a s t o c h a s t i c b i t -

s t r e a m : a a 1 0 - b i t s t o c h a s t i c s t r e a m r e p r e s e n t s a d e c i m a l v a l u e o f 0 . 4 g i v e n t h a t t h e p r o b a b i l i t y

o f a b i t h a v i n g t h e v a l u e ' 1 ' i s 4 0 . T o g e n e r a t e s u c h a b i t - s t r e a m , t h e c i r c u i t i n b o u t p u t s a

' 1 ' w i t h a p r o b a b i l i t y t h a t i s a f u n c t i o n o f t h e v a l u e s t o r e d i n t h e r e g i s t e r .

I n t h e a r t i c i a l n e u r a l n e t w o r k d o m a i n , s t o c h a s t i c l o g i c h a s b e e n u s e d m o s t l y f o r

l e a r n e d s y s t e m s , t h a t i s , s y s t e m s w h e r e t h e t r a i n i n g i s i m p l e m e n t e d i n s o f t w a r e u s i n g

a g e n e r a l - p u r p o s e m a c h i n e , a n d t h e t r a i n e d n e t w o r k i n h a r d w a r e 7 4 . H o w e v e r , i t h a s

b e e n r e c e n t l y u s e d t o i m p l e m e n t H e b b i a n l e a r n i n g b a s e d a c c e l e r a t o r s 6 2 a n d o n - c h i p

l e a r n i n g s y s t e m s u s i n g s t a n d a r d d i g i t a l V L S I t e c h n o l o g y b e c a u s e o f i t s a b i l i t y t o e s c a p e

f r o m l o c a l m i n i m a 2 4 2 .

S t o c h a s t i c l o g i c i s a v e r y p r o m i s i n g t e c h n i q u e . H o w e v e r , t h e r e q u i r e m e n t f o r i n d e -

p e n d e n t r a n d o m b i t s t r e a m s i m p l i e s t h e n e e d f o r m a n y r a n d o m s o u r c e s . T h e r e h a v e b e e n

s e v e r a l a t t e m p t s t o s o l v e t h i s p r o b l e m b y u s i n g t e c h n i q u e s f o r g e n e r a t i n g m u l t i p l e u n c o r -

r e l a t e d p s e u d o r a n d o m s o u r c e s 7 , b u t t h e y r e q u i r e c o n s i d e r a b l e h a r d w a r e r e s o u r c e s 2 8 .

3 . 3 . 3 R e d u n d a n t r e p r e s e n t a t i o n

A l t h o u g h p r o b a b i l i s t i c r e p r e s e n t a t i o n s a r e i n h e r e n t l y r e d u n d a n t s e v e r a l b i t - s t r e a m s

m a y r e p r e s e n t t h e s a m e d e c i m a l v a l u e , i n t h i s s e c t i o n w e p r e s e n t a n o t h e r r e d u n d a n t

n u m b e r i n g s y s t e m w h i c h i s d e t e r m i n i s t i c . I n c o n t r a s t w i t h t h e p o s i t i o n a l s y s t e m s , i n

w h i c h t h e d e g r e e o f r e d u n d a n c y i s v e r y s m a l l a n d s e e n a s a n i n c o n v e n i e n c e . R e d u n d a n c y

i s t h e k e y f e a t u r e o f r e d u n d a n t n u m b e r i n g s y s t e m s , a l l o w i n g f o r r a p i d a n d c o m p a c t

i m p l e m e n t a t i o n s o f a r i t h m e t i c o p e r a t o r s . I n a n o n - r e d u n d a n t n u m b e r r e p r e s e n t a t i o n

w i t h a n i n t e g e r r a d i x r , a d i g i t i s a l l o w e d t o a s s u m e r v a l u e s : 0 ; 1 ; 2 : : : r , 1 . A n u m b e r

i s r e p r e s e n t e d i n r a d i x r a s :

1

X

k = , 1

a

k

r

, k

; 3 . 2

w h e r e a

k

2 D

r

= f 0 ; 1 ; : : : : r , 1 g . D

r

i s c a l l e d t h e d i g i t s e t .

I n a r e d u n d a n t n u m b e r r e p r e s e n t a t i o n , a d i g i t i s a l l o w e d t o a s s u m e m o r e t h a n r v a l u e s .

A v i z i e n i s 1 8 r e p r e s e n t s r e d u n d a n t n u m b e r s i n r a d i x r u s i n g t h e d i g i t s e t - a , - a + 1 , . . . . a - 1 , a ,




PE = Processing element

a) b)

Data path

Weight path

c)

F I F O

PE PE PE

F I F O

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

F i g u r e 3 . 5 : T y p i c a l s y s t o l i c a r r a y a r c h i t e c t u r e s b a s e d o n t h e p r o c e s s i n g e l e m e n t i n t e r c o n n e c -

t i o n n e t w o r k : a s y s t o l i c r i n g , b s y s t o l i c s q u a r e a r r a y a n d c s y s t o l i c r i n g w i t h g l o b a l b u s

a r c h i t e c t u r e s .

e l e m e n t s s h a r i n g a g l o b a l i n p u t b u s , a n d a g l o b a l o u t p u t b u s . A l l t h e s e a r c h i t e c t u r e s

u s u a l l y p r e s e n t a o n e - t o - o n e m a p p i n g o f a r t i c i a l n e u r o n s a n d p r o c e s s i n g e l e m e n t s .

controlPEunit

Output bus

Input bus

PE

F i g u r e 3 . 6 : B r o a d c a s t b u s g e n e r a l p a r a l l e l a r c h i t e c t u r e . P E m e a n s p r o c e s s i n g e l e m e n t

3 . 5 R e c o n g u r a b l e n e u r a l h a r d w a r e

R e c e n t p r o g r e s s i n s e m i c o n d u c t o r d e v i c e s , a n d n o t a b l y t h e d e v e l o p m e n t o f c o n g u r a b l e

h a r d w a r e d e v i c e s s u c h a s e l d - p r o g r a m m a b l e g a t e a r r a y s F P G A , a l l o w s u s e r s t o r e -

c o n g u r e t h e i r i n t e r n a l c i r c u i t c o n n e c t i o n s a n d n o d e l o g i c f u n c t i o n a l i t i e s 1 7 7 , 2 1 2 . A n

F P G A i s a n a r r a y o f l o g i c b l o c k s p l a c e d w i t h i n a n i n f r a s t r u c t u r e o f i n t e r c o n n e c t i o n s ,



3 . 5 R e c o n g u r a b l e n e u r a l h a r d w a r e 2 7

a n d c a n b e c o n g u r e d a t t h r e e d i s t i n c t l e v e l s : 1 t h e f u n c t i o n o f t h e l o g i c b l o c k , 2 t h e

i n t e r c o n n e c t i o n s b e t w e e n t h e b l o c k s , a n d 3 t h e i n p u t s a n d o u t p u t s . A l l t h r e e l e v e l s

a r e c o n g u r e d v i a a s t r i n g o f b i t s t h a t i s l o a d e d f r o m a n e x t e r n a l s o u r c e i n t o c o n g -

u r a t i o n r e g i s t e r s F i g u r e 3 . 7 . T h i s n o v e l t e c h n o l o g y i n t r o d u c e s a d i s t i n c t i o n b e t w e e n

p r o g r a m m a b l e p r o c e s s o r s a n d c o n g u r a b l e d e v i c e s . I n t h e r s t c a s e , a g e n e r a l - p u r p o s e

p r o c e s s o r i s p r o g r a m m e d b y d e s c r i b i n g a g i v e n a l g o r i t h m b y m e a n s o f a l i m i t e d s e t o f

i n s t r u c t i o n s . I n t h e s e c o n d c a s e , a n F P G A i s c o n g u r e d b y m e a n s o f a b i t - s t r e a m t h a t

c o m p l e t e l y s p e c i e s t h e l o g i c a l f u n c t i o n s a n d c o n n e c t i v i t y t o b e i m p l e m e n t e d , i n o r d e r

t o r e a l i z e a g i v e n d e s i g n 1 7 9 . A c o n g u r a t i o n b i t - s t r e a m n e e d s n o t b e w r i t t e n a t v e r y

l o w l e v e l : a s f o r c o m p i l a t i o n i n t h e p r o g r a m m a b l e p a r a d i g m , i n c o n g u r a b l e c o m p u t i n g

o n e c a n c o n v e r t a h i g h - l e v e l d e s c r i p t i o n o f a d e s i g n s p e c i e d , f o r e x a m p l e , u s i n g a h i g h -

l e v e l h a r d w a r e d e s c r i p t i o n l a n g u a g e l i k e V H D L c a n b e c o n v e r t e d i n t o a c o n g u r a t i o n

b i t - s t r e a m b y a p r o c e s s o f s y n t h e s i s , p a r t i t i o n , p l a c e m e n t , a n d r o u t i n g F i g u r e 3 . 8 .

I/O

Switch

I/O block

Logic block

interconnections

S

I/O

Configurationregisterblock

S

block

Programmable

Logic resources

Logic

F i g u r e 3 . 7 : T y p i c a l e l d - p r o g r a m m a b l e g a t e a r r a y F P G A a r c h i t e c t u r e .

3 . 5 . 1 F i e l d - p r o g r a m m a b l e g a t e a r r a y s F P G A

F P G A d e v i c e s a l l o w a v e r y d i r e c t a p p r o a c h i n w h i c h t h e h a r d w a r e c a n b e s t r u c t u r e d t o

d i r e c t l y i m p l e m e n t t h e n a t i v e o p e r a t i o n s r e q u i r e d b y t h e a p p l i c a t i o n a n d b e o r g a n i z e d t o

e x p l o i t t h e c o n c u r r e n c y i n h e r e n t i n t h e c o m p u t a t i o n . S u c h d i g i t a l d e v i c e s a o r d r a p i d

p r o t o t y p i n g a n d r e l a t i v e l y i n e x p e n s i v e i m p l e m e n t a t i o n s . F P G A s h a v e b e e n t y p i c a l l y

u s e d f o r p r o t o t y p i n g A S I C A p p l i c a t i o n S p e c i c I n t e g r a t e d C i r c u i t s d e s i g n s a n d a s l o w -

c o s t p a r t s i n a p p l i c a t i o n s w h e r e t h e e x p e n s e o f d e s i g n i n g a n d f a b r i c a t i n g a n A S I C i s

n o t j u s t i e d 2 1 7 , 2 1 8 . W h i l e F P G A s a r e c o n s i d e r a b l y s l o w e r t h a n A S I C s a n d n e e d

h i g h e r p o w e r r e q u i r e m e n t s , t h e y c a n a c h i e v e a s p e e d - u p o f a n o r d e r o f m a g n i t u d e i n




a p p l i c a t i o n s c h a r a c t e r i z e d b y d e e p l y p i p e l i n e d , h i g h l y p a r a l l e l , a n d i n t e g e r a r i t h m e t i c

p r o c e s s i n g 2 1 7 .

high-level hardware

description language

(VHDL)

partition

placement

routing

configuration

bit-string

device configuration

synthesis

schematic

capture

F i g u r e 3 . 8 : C o n g u r a b l e - h a r d w a r e d e s i g n o w .

F r o m t h e a r c h i t e c t u r a l p o i n t o f v i e w , w e c a n d i s t i n g u i s h t w o d i e r e n t t y p e s o f

F P G A s : n e g r a i n a n d c o a r s e g r a i n d e v i c e s . I n t h e f o r m e r c a s e , t h e F P G A s a r e c o m p o s e d

o f m a n y s i m p l e l o g i c b l o c k s i . e . , a l o g i c b l o c k m a y b e c o m p o s e d o f a s i n g l e 2 - i n p u t

m u l t i p l e x e r g a t e , w h i l e i n t h e l a t t e r c a s e , t h e F P G A s a r e c o m p o s e d o f f e w e r , m o r e

c o m p l e x l o g i c b l o c k s i . e . , a l o g i c b l o c k m a y c o n s i s t o f s e v e r a l m u l t i p l e x e r s a n d s e v e r a l

m e m o r y e l e m e n t s , l o o k - u p t a b l e s , o r e v e n a w h o l e p r o c e s s o r .

A l t h o u g h s o m e c u r r e n t c o m m e r c i a l F P G A s a r e c o a r s e g r a i n e d , a n d m a i n t a i n v e r y

c o m p l e x l o g i c b l o c k s , t h e p r o c e s s i n g e l e m e n t P E o f a n a r t i c i a l n e u r a l n e t w o r k i s n o t

l i k e l y t o b e m a p p e d i n t o a s i n g l e l o g i c b l o c k . O f t e n , a s i n g l e P E c a n b e m a p p e d i n t o a n

e n t i r e F P G A d e v i c e . H o w e v e r , c u r r e n t F P G A s o e r v e r y h i g h d e n s i t i e s : c o m m e r c i a l F P -

G A s o e r a p p r o x i m a t e l y 2 5 0 , 0 0 0 e q u i v a l e n t g a t e s , a n d , s o m e c o m p a n i e s h a v e a n n o u n c e d

d e v i c e s w i t h c l o s e t o 1 , 0 0 0 , 0 0 0 e q u i v a l e n t g a t e s . F i g u r e 3 . 9 s h o w s t h e l a y o u t o f t h e c o n -

g u r a b l e l o g i c b l o c k o f t h e X i l i n x X C 4 0 0 0 f a m i l y a n e x a m p l e o f a c o a r s e g r a i n e d l o g i c

b l o c k o f F P G A s , w h i c h i n c l u d e d e v i c e s w i t h d e n s i t i e s r a n g i n g f r o m 2 , 0 0 0 t o 2 5 0 , 0 0 0

e q u i v a l e n t g a t e s .

M o s t F P G A s c a n b e r e c o n g u r e d a s o f t e n a s d e s i r e d , t h e r e b y a l l o w i n g a s i n g l e

c h i p t o b e t i m e - s h a r e d b y s e v e r a l f u n c t i o n s o r d e s i g n s s u c h o p e r a t i o n i s a l s o k n o w n a s

r u n - t i m e r e c o n g u r a t i o n . H o w e v e r , t h e d e s i g n o w i n c o n g u r a b l e c o m p u t i n g i s s t i l l

s e v e r a l o r d e r s o f m a g n i t u d e s l o w e r t h a n t h e c o m p i l a t i o n o f p r o g r a m s , t h u s l i m i t i n g t h e

u s e f u l n e s s o f r e c o n g u r a b l e h a r d w a r e .




3 . 5 . 3 D e n s i t y e n h a n c e m e n t a n d a c c e l e r a t i o n

R e p r o g r a m m a b l e c i r c u i t s e n a b l e u s t o i m p l e m e n t s e p a r a t e p a r t s o f t h e s a m e s y s t e m b y

t i m e - m u l t i p l e x i n g a s i n g l e F P G A c h i p t h r o u g h r u n - t i m e r e c o n g u r a t i o n . T h i s a p p r o a c h

d i v i d e s a n a l g o r i t h m i n t o s e q u e n t i a l s t a g e s ; t h e F P G A d e v i c e i m p l e m e n t s o n e s t a g e a t

a t i m e e . g . , a b a c k p r o p a g a t i o n l e a r n i n g a l g o r i t h m m a y b e d i v i d e d i n t o a s e q u e n c e o f

f e e d f o r w a r d s t a g e s a n d a s e q u e n c e o f b a c k p r o p a g a t i o n o f t h e e r r o r s t a g e s . W h e n t h e

s t a g e ' s c o m p u t a t i o n s a r e c o m p l e t e d , t h e F P G A i s r e c o n g u r e d f o r t h e n e x t s t a g e . T h i s

p r o c e s s i s r e p e a t e d u n t i l t h e t a s k i s c o m p l e t e d . S i n c e o n l y p a r t o f t h e a l g o r i t h m i s i m p l e -

m e n t e d a t e a c h s t a g e , l e s s h a r d w a r e i s n e e d t o i m p l e m e n t i t a n d t h e r e s u l t i n g h a r d w a r e

i m p l e m e n t a t i o n i s c h e a p e r a n d c o n s u m e s l e s s p o w e r 5 5 . H o w e v e r , g o o d p e r f o r m a n c e

c a n o n l y b e a c h i e v e d i f t h e r e c o n g u r a t i o n t i m e i s s m a l l c o m p a r e d t o c o m p u t a t i o n t i m e .

Feed-forward

neural network

Backpropagation

neural network

reconf.reconf.

Reconfigure & start with a new pattern

algorithm

Update

Configuration 3Configuration 2Configuration 1

F i g u r e 3 . 1 0 : E x a m p l e o f r u n - t i m e r e c o n g u r a t i o n : t h e b a c k p r o p a g a t i o n l e a r n i n g a l g o r i t h m i s

d i v i d e d i n t o t h r e e s t a g e s .

O n e o f t h e m o s t s p a c e - c o n s u m i n g f e a t u r e s i n d i g i t a l n e u r a l n e t w o r k i m p l e m e n t a t i o n s

i s t h e m u l t i p l i c a t i o n u n i t . T h e r e f o r e , p r a c t i c a l i m p l e m e n t a t i o n s t r y t o r e d u c e t h e n u m -

b e r o f m u l t i p l i e r s a n d o r r e d u c e t h e c o m p l e x i t y o f t h e m u l t i p l i e r . O n e t y p i c a l a p p r o a c h

i s t o u s e t i m e - d i v i s i o n m u l t i p l e x i n g T D M a n d a s i n g l e s h a r e d m u l t i p l i e r p e r n e u r o n .

A n o t h e r a p p r o a c h i s t o u s e b i t - s e r i a l s t o c h a s t i c c o m p u t i n g t e c h n i q u e s S e c t i o n 3 . 3 . 2 ,

w h e r e s t o c h a s t i c a l l y c o d e d p u l s e s e q u e n c e s a l l o w t h e i m p l e m e n t a t i o n o f a m u l t i p l i c a t i o n

o f t w o i n d e p e n d e n t s t o c h a s t i c p u l s e s b y a s i n g l e t w o - i n p u t l o g i c g a t e . A s a n e x a m p l e ,

i n 2 0 a s i n g l e l a y e r o f 1 2 i n p u t s a n d 1 0 o u t p u t s o f a s t o c h a s t i c n e u r a l n e t w o r k w a s i m p l e -

m e n t e d u s i n g X i l i n x 4 0 0 3 F P G A . 1 0 9 p r e s e n t s a n F P G A p r o t o t y p i n g i m p l e m e n t a t i o n

o f a n o n - c h i p b a c k p r o p a g a t i o n a l g o r i t h m u s i n g p a r a l l e l s t o c h a s t i c b i t - s t r e a m s . A n o t h e r

t y p i c a l a p p r o a c h h a s b e e n t h e u s e o f w e i g h t a n d l e a r n i n g p a r a m e t e r s v a l u e s l i m i t e d t o

p o w e r s o f t w o t h e r e b y r e d u c i n g m u l t i p l i c a t i o n s t o s i m p l e s h i f t s 4 6 , 1 3 2 .

3 . 5 . 4 T o p o l o g y a d a p t a t i o n

D i g i t a l n e u r a l n e t w o r k s w i t h a d a p t a b l e t o p o l o g i e s h a v e b e e n i m p l e m e n t e d u s i n g V L S I

t e c h n i q u e s 1 4 6 . F i e l d - p r o g r a m m a b l e d e v i c e s b e s i d e s r a p i d p r o t o t y p i n g a n d f a s t e r o p -

e r a t i o n , e n a b l e u s t o i m p l e m e n t a r t i c i a l n e u r a l s y s t e m s w i t h m o d i a b l e t o p o l o g i e s . W e

d e v e l o p e d t h e F l e x i b l e A d a p t a b l e - S i z e T o p o l o g y F A S T n e u r a l a r c h i t e c t u r e , a n u n s u p e r -

v i s e d l e a r n i n g n e u r a l n e t w o r k t h a t d y n a m i c a l l y c h a n g e s i t s s i z e , w h i c h i s p r e s e n t e d i n

n e x t c h a p t e r . I t h a s b e e n i m p l e m e n t e d u s i n g c o m m e r c i a l F P G A s , a n d h a s b e e n s u c c e s s -

f u l l y u s e d i n p a t t e r n c l u s t e r i n g t a s k s a n d n o n - t r i v i a l c o n t r o l t a s k s . T h i s n e t w o r k d o e s



3 . 6 S u m m a r y 3 1

n o t y e t e x p l o i t F P G A p a r t i a l r e c o n g u r a b i l i t y , a l r e a d y p o s s i b l e w i t h F P G A a r c h i t e c -

t u r e s l i k e t h e X i l i n x X C 6 2 0 0 1 7 7 , 2 3 8 . T h i s f e a t u r e s h o u l d a l l o w t h e d e v e l o p m e n t o f

m o r e c o m p l e x a d a p t a b l e - t o p o l o g y n e u r a l n e t w o r k s a n d n e w h a r d w a r e i m p l e m e n t a t i o n

a p p r o a c h e s .

3 . 6 S u m m a r y

M o s t a r t i c i a l n e u r a l n e t w o r k a p p l i c a t i o n s t o d a y a r e e x e c u t e d a s c o n v e n t i o n a l s o f t w a r e

s i m u l a t i o n s o n s e q u e n t i a l m a c h i n e s w i t h n o d e d i c a t e d h a r d w a r e . H o w e v e r , r e c o n g u r a b l e

h a r d w a r e c a n p r o v i d e t h e b e s t f e a t u r e s o f b o t h p r o g r a m m a b l e a n d a p p l i c a t i o n - s p e c i c

c i r c u i t s : h i g h - d e n s i t y a n d h i g h - p e r f o r m a n c e d e s i g n s a n d r a p i d p r o t o t y p i n g a n d e x i b i l i t y .

S t o c h a s t i c n e u r a l n e t w o r k s a r e a p r o m i s i n g t e c h n i q u e f o r i m p l e m e n t i n g a r t i c i a l

n e u r a l n e t w o r k s : c o m p a c t n e u r o n s c a n b e i m p l e m e n t e d b e c a u s e o f t h e s i m p l i c i t y o f t h e

a r i t h m e t i c o p e r a t o r s a n d t h e p o s s i b i l i t y o f a n a r b i t r a r y r e s o l u t i o n o f s i g n a l s . H o w e v e r ,

t h e n o i s e s o u r c e s m u s t b e u n c o r r e l a t e d , m a k i n g t h e i m p l e m e n t a t i o n o f l e a r n i n g s y s t e m s

v e r y d i c u l t . O n l i n e a r i t h m e t i c s a p p e a r t o b e a v e r y p r o m i s i n g t e c h n i q u e t o i m p l e m e n t

d i g i t a l a r t i c i a l n e u r a l n e t w o r k s , p r o v i d i n g a g a i n i n b o t h p e r f o r m a n c e a n d i n a r e a . O u r

r e s e a r c h , h o w e v e r , i s b a s e d o n t h e c l a s s i c a l p o s i t i o n a l v a l u e r e p r e s e n t a t i o n s y s t e m . A r t i -

c i a l n e u r a l n e t w o r k s h a v e a l r e a d y b e e n i m p l e m e n t e d u s i n g e l d - p r o g r a m m a b l e d e v i c e s ,

i n i t i a l l y t a k i n g a d v a n t a g e o f t h e i r p o t e n t i a l f o r r a p i d p r o t o t y p i n g a n d t h e n o f t h e i r r e -

c o n g u r a b i l i t y f o r d e n s i t y e n h a n c e m e n t a n d a c c e l e r a t i o n . H o w e v e r , s u c h d e v i c e s h a v e

n o t b e e n e x p l o i t e d t o i m p l e m e n t n e u r a l n e t w o r k s w i t h i n - c i r c u i t s t r u c t u r e a d a p t a t i o n ,

w h i c h i s t h e m a i n m o t i v a t i o n o f t h i s r e s e a r c h .



C h a p t e r 4

A d a p t i v e C a t e g o r i z a t i o n : f r o m B i o l o g y

t o H a r d w a r e

A d a p t i v e

F A S T

control

growing/pruning

c a t e g o r i z a t i o n

E v e r y t h i n g s h o u l d b e m a d e a s s i m p l e a s p o s s i b l e ,

b u t n o t s i m p l e r .

- A . E i n s t e i n

F

r o m a b i o l o g i c a l p o i n t o f v i e w , i t h a s b e e n d e t e r m i n e d t h a t t h e g e n o m e c o n t a i n s t h e

f o r m a t i o n r u l e s t h a t s p e c i f y t h e o u t l i n e o f t h e n e r v o u s s y s t e m . N e v e r t h e l e s s , t h e r e

i s g r o w i n g e v i d e n c e t h a t n e r v o u s s y s t e m s f o l l o w a n e n v i r o n m e n t a l l y - g u i d e d n e u r a l

c i r c u i t b u i l d i n g n e u r a l e p i g e n e s i s t h a t i n c r e a s e s t h e i r l e a r n i n g e x i b i l i t y a n d e l i m i n a t e s

t h e h e a v y b u r d e n t h a t n a t i v i s m p l a c e s o n g e n e t i c m e c h a n i s m s 1 6 4 . T h e s e m i n a l w o r k

o f t h e N o b e l l a u r e a t e s D . H . H u b e l a n d T . N . W i e s e l o n t h e b r a i n ' s m e c h a n i s m o f v i s i o n

9 3 d e s c r i b e s a p r i m e e x a m p l e o f t h e r o l e o f e x p e r i e n c e i n t h e f o r m a t i o n o f t h e n e u r o -

o c u l a r p a t h w a y s . T h e n e r v o u s s y s t e m o f l i v i n g o r g a n i s m s t h u s r e p r e s e n t s a m i x t u r e o f

t h e i n n a t e a n d t h e a c q u i r e d , t h e l a t t e r p r e c l u d i n g t h e p o s s i b i l i t y o f d i r e c t h e r e d i t a r y

t r a n s m i s s i o n u n d e r D a r w i n i a n e v o l u t i o n 1 9 3 .

S i m i l a r l y , i n t h e d o m a i n o f a r t i c i a l n e u r a l n e t w o r k s a s p e c i a l c l a s s o f l e a r n i n g a l g o -

r i t h m s h a s b e e n i n t r o d u c e d t o d e a l w i t h t h e a r t i c i a l n e u r a l n e t w o r k t o p o l o g y p r o b l e m

C h a p t e r 2 b y o e r i n g t h e p o s s i b i l i t y o f d y n a m i c a l l y m o d i f y i n g t h e n e t w o r k ' s s t r u c -

t u r e a n d p r o v i d i n g c o n s t r u c t i v e i n c r e m e n t a l l e a r n i n g . T h e s e t e c h n i q u e s a p p e a r a s a n

a l t e r n a t i v e t o e v o l u t i o n a r y t e c h n i q u e s , w h i c h h a v e b e e n s u c c e s s f u l l y u s e d f o r t h e d e s i g n

a n d t o p o l o g y - a d a p t a t i o n o f a r t i c i a l n e u r a l n e t w o r k s , a l b e i t a s t h e r e s u l t o f a n o - l i n e

a d a p t a t i o n p r o c e s s .

L e a r n i n g i n a r t i c i a l n e u r a l n e t w o r k s i s g e n e r a l l y u n d e r s t o o d a s a c h i e v i n g t h e c a -

p a b i l i t y t o i n f e r a r e s p o n s e t o p r e v i o u s l y u n k n o w n s i t u a t i o n s t h r o u g h t h e g e n e r a l i z a t i o n

o f k n o w n s i t u a t i o n s . E n g i n e e r s a r e t h u s c o n f r o n t e d t o a t r a d e - o b e t w e e n g e n e r a l i z a t i o n

a n d r o b u s t n e s s 1 7 2 , 1 7 3 : w h e n a d d i n g l o t s o f n e u r o n s t o g u a r a n t e e f a u l t t o l e r a n c e , t h e r e

3 3



3 4 4 . A d a p t i v e C a t e g o r i z a t i o n : f r o m B i o l o g y t o H a r d w a r e

i s a r i s k o f l e a r n i n g n o t h i n g i f w e d o n o t a t t e m p t t o g e n e r a l i z e . F r o m a n e n g i n e e r i n g

p o i n t o f v i e w , s i l i c o n n e u r o n s a r e n o t c h e a p . T h e r e f o r e , o u r a l g o r i t h m s d e n i t e l y n e e d

t o b e c o s t e e c t i v e a n d g e n e r a t e t h e s m a l l e s t p o s s i b l e n e t s . O n c e w e o b t a i n g o o d g e n -

e r a l i z a t i o n t o a p r o b l e m , f a u l t t o l e r a n c e a n d s e l f - r e p a i r c a n b e a c h i e v e d i n m a n y o t h e r

w a y s , f o r e x a m p l e w i t h a n e m b r y o n i c s s u b s t r a t e 1 2 9 .

E n g i n e e r s a r e a l s o c o n f r o n t e d t o t h e s t a b i l i t y - p l a s t i c i t y d i l e m m a h o w c a n a l e a r n i n g

s y s t e m p r e s e r v e w h a t i t h a s p r e v i o u s l y l e a r n e d , w h i l e c o n t i n u i n g t o i n c o r p o r a t e n e w

k n o w l e d g e , w h i c h h a s t o b e s o l v e d b y a n y b r a i n s y s t e m t h a t a t t e m p t s t o m a k e s s e n s e

o f t h e o o d o f e n v i r o n m e n t a l s i g n a l s t h a t r e l e n t l e s s l y a s s a i l s i t s s e n s o r s 7 2 .

A c o m p u t a t i o n a l a p p r o a c h c a l l e d A d a p t i v e R e s o n a n c e T h e o r y A R T 7 0 , 7 1 h a s

b e e n p r o p o s e d t o s u g g e s t h o w t h e b r a i n m i g h t s o l v e t h e s t a b i l i t y - p l a s t i c i t y d i l e m m a ,

h o w t h e b r a i n i s c a p a b l e o f c o n t i n u a l l e a r n i n g a s a c o n s e q u e n c e o f i t s l e a r n i n g s t a b i l i t y ,

h o w s t a b i l i t y i m p l i e s i n t e n t i o n a l i t y , a n d h o w t h i s l a t t e r i m p l i e s a t t e n t i o n a n d c o n s c i o u s -

n e s s 7 3 . T h i s t h e o r y h a s i n s p i r e d t h e d e v e l o p m e n t o f a r t i c i a l n e u r a l n e t w o r k m o d e l s

w i t h i n c r e m e n t a l l e a r n i n g c a p a b i l i t i e s . I n p a r t i c u l a r , t h e r e i s a f a m i l y o f A R T - b a s e d c o m -

p u t a t i o n a l n e u r a l m o d e l s t h a t c l u s t e r , c o d e , o r c a t e g o r i z e i n p u t d a t a i n a n u n s u p e r v i s e d

m a n n e r .

T h i s c h a p t e r p r e s e n t s a s t r u c t u r e - a d a p t a b l e a r t i c i a l n e u r a l n e t w o r k a r c h i t e c t u r e

c a l l e d F A S T f o r F l e x i b l e A d a p t a b l e - S i z e T o p o l o g y , b a s e d o n t h e p r e m i s e s o f t h e A R T

t h e o r y , a n d p a r t i c u l a r l y m o t i v a t e d b y t h e p o s s i b i l i t y o f a d i g i t a l i m p l e m e n t a t i o n u s i n g

p r o g r a m m a b l e h a r d w a r e d e v i c e s . T h i s c h a p t e r i s o r g a n i z e d a s f o l l o w s : S e c t i o n 4 . 1 c o n -

c e r n s t h e n e u r a l p l a s t i c i t y i n t h e b r a i n , S e c t i o n 4 . 2 i n t r o d u c e s t h e c o n c e p t o f a d a p t i v e

c l u s t e r i n g , S e c t i o n 4 . 3 d e s c r i b e s t h e A d a p t i v e R e s o n a n c e T h e o r y , S e c t i o n 4 . 4 p r e s e n t s

t h e d e v e l o p m e n t o f t h e F A S T a r c h i t e c t u r e , S e c t i o n 4 . 5 d e l i n e a t e s t h e h a r d w a r e i m p l e -

m e n t a t i o n o f t h e F A S T n e u r a l n e t w o r k , a n d , n a l l y , S e c t i o n 4 . 6 d e s c r i b e s s o m e r e s u l t s

a n d a p p l i c a t i o n s i n c l u d i n g c o l o r i m a g e s e g m e n t a t i o n .

4 . 1 N e u r a l p l a s t i c i t y

W h e n w e o b s e r v e t h a t a n i n f a n t c a n n o t e a s i l y r e a c h a t o y , w e u n d e r s t a n d t h a t p e r c e p t i o n

a n d m o v e m e n t c a p a b i l i t i e s a r e n o t i n n a t e , b u t a r e p r o g r e s s i v e l y d e v e l o p e d d u r i n g a l o n g

p r o c e s s o f l e a r n i n g .

T h e g e n e t i c p r o g r a m t h a t i s c a r r i e d o u t d u r i n g p r e g n a n c y p r o v i d e s t h e c h i l d r e n w i t h

a s e t o f s e n s o r i a l o r g a n s a n d a b r a i n r e a d y t o u s e . W i t h i n t h e b r a i n , t h e 1 0

1 1

n e u r o n s

a r e c o n n e c t e d i n t o s p e c i a l i z e d c i r c u i t s . T o k n o w h o w t o t r e a t t h e s e n s o r y i n f o r m a t i o n ,

t h e b r a i n m o d i e s i t s s t r u c t u r e a s a f u n c t i o n o f i t s r s t s e n s o r i a l e x p e r i e n c e s : t h e m a i n

s t r u c t u r e s p e r s i s t b u t t h e p a r t i c u l a r c o n n e c t i o n s c h a n g e .

T h e d e v e l o p i n g b r a i n c a n b e l i k e n e d t o a h i g h w a y s y s t e m t h a t e v o l v e s w i t h

u s e : l e s s t r a v e l e d r o a d s m a y b e a b a n d o n e d , p o p u l a r r o a d s b r o a d e n e d a n d n e w

o n e s a d d e d w h e r e t h e y a r e n e e d e d 1 2 .

T h e r e i s g r o w i n g e v i d e n c e t h a t t h e d e v e l o p m e n t o f t h e n e u r a l c i r c u i t s o f n e r v o u s

s y s t e m s d e p e n d s o n t h e i n p u t s t h e y r e c e i v e f r o m t h e e n v i r o n m e n t n e u r a l e p i g e n e s i s ,

w h i c h i n c r e a s e s t h e i r l e a r n i n g e x i b i l i t y . T h e s e m i n a l s t u d i e s o f D . H . H u b e l a n d T . N .



4 . 1 N e u r a l p l a s t i c i t y 3 5

W i e s e l o n t h e b r a i n ' s m e c h a n i s m o f v i s i o n 9 3 a r e a n e x a m p l e o f t h e r o l e o f a c t i v i t y

a n d o f e x p e r i e n c e i n t h e f o r m a t i o n o f t h e f u n c t i o n a l p r o p e r t i e s o f n e u r o n s a n d o f t h e

r e n e m e n t o f c o n n e c t i v i t y b e t w e e n n e u r o n s .

b)

a)

Active

Inactive

axon

axon

F i g u r e 4 . 1 : N e u r a l p l a s t i c i t y . B e s i d e s t h e a d a p t a t i o n o f t h e n e u r o t r a n s m i t t e r s ' t r a n s m i s s i o n

e c i e n c y i n t h e s y n a p s e s , n e u r a l p l a s t i c i t y e n t a i l s t h e f o r m a t i o n a n d e l i m i n a t i o n o f s y n a p s e s ,

t h a t i s , o f c o n n e c t i o n s b e t w e e n n e u r o n s . F o r e x a m p l e , i t h a s b e e n s h o w n t h a t n e u r o n a l c o n n e c -

t i o n s i n k i t t e n s ' e y e s r e o r g a n i z e w h e n o n e e y e i s a r t i c i a l l y s u t u r e d a n d d o e s n o t r e c e i v e n o r m a l

a c t i v a t i o n s f r o m i t s e n v i r o n m e n t c h a n g e f r o m a t o b .

T h e s e e a r l y s t u d i e s i n v o l v e d s u t u r i n g c l o s e d t h e l i d o f o n e e y e i n n e w b o r n c a t s .

T h e y o b s e r v e d t h a t l i m i t i n g t h e a c t i v i t y o f o n e e y e i n t e r f e r e d w i t h t h e d e v e l o p m e n t o f

t h e c a t ' s v i s u a l p a t h w a y s : t h e a x o n s a s s o c i a t e d w i t h t h e c l o s e d e y e d o n o t s e g r e g a t e

i n t o t h e u s u a l e y e - s p e c i c b r a i n d o m a i n s , w h i l e t h e a x o n s a s s o c i a t e d w i t h t h e o p e n e y e

e x p a n d e d t h e i r t e r r i t o r y i n t h e v i s u a l c o r t e x 1 0 5 .

R e s e a r c h i n h u m a n s a n d p r i m a t e s h a s s h o w n t h a t t h e d e v e l o p m e n t a l c o u r s e o f t h e

b r a i n i n v o l v e s s y n a p t i c o v e r - g r o w t h f o l l o w e d b y m a r k e d s e l e c t i v e p r u n i n g 4 5

B e g i n n i n g a t e a r l y s t a g e s o f f e t u s d e v e l o p m e n t , s y n a p t i c d e n s i t y r i s e s a t a c o n s t a n t

r a t e , u n t i l a p e a k l e v e l i s a t t a i n e d a t 2 - 3 y e a r s o f a g e i n h u m a n s . T h e n , a f t e r a s h o r t

p e r i o d o f s t a b l e s y n a p t i c d e n s i t y u n t i l t h e a g e o f 5 i n h u m a n s , a n e l i m i n a t i o n p r o c e s s

b e g i n s , l a s t i n g u n t i l p u b e r t y . R u p p i n e t a l 4 5 h a v e o b s e r v e d a s t r o n g c o r r e l a t i o n b e t w e e n

s y n a p t i c d e n s i t y a n d m e t a b o l i c e n e r g y c o n s u m p t i o n i n t h e b r a i n , a n d d e m o n s t r a t e d

t h a t t h e p e r f o r m a n c e d e c r e a s e d u e t o s y n a p t i c d e l e t i o n i s s m a l l c o m p a r e d t o t h e e n e r g y

s a v i n g s . F u r t h e r m o r e , t h e F r e n c h n e u r o p h y s i o l o g i s t J . - P . C h a n g e u x h a s p o s t u l a t e d t h a t

t o l e a r n i s t o e l i m i n a t e , a s o p p o s e d t o l e a r n i n g b y i n s t r u c t i o n , w h i c h i m p l i e s n e w

g r o w t h 4 4 .

I t s h o u l d b e n o t e d t h a t a n i n d e n i t e n e u r a l p l a s t i c i t y i n c e r t a i n p a r t s o f t h e b r a i n

c a n b e c o u n t e r a c t i v e : t h i s i s n o t a b l y t h e c a s e o f t h e s e n s o r y p a t h w a y s 1 0 5 . A s a n

e x a m p l e , t h e p l a s t i c i t y o f t h e n e u r o - o c u l a r p a t h w a y s i n a n i m a l s i s u n d e r e x p e r i e n c e -

d e p e n d e n t r e g u l a t i o n f o r a l i m i t e d p e r i o d e a r l y i n t h e l i f e o f a n i m a l s , k n o w n a s t h e

c r i t i c a l p e r i o d 6 6 . I n o t h e r p a r t s o f t h e b r a i n , a c o n t i n u i n g n e u r a l p l a s t i c i t y i s e s s e n t i a l

t o i n c o r p o r a t e n e w k n o w l e d g e .




T h e f o r m a t i o n o f a p p r o p r i a t e s y n a p s e s i s t h e u l t i m a t e s t e p i n t h e c o n s t r u c t i o n o f

b r a i n c i r c u i t r y a n d , a s b r a i n r e s e a r c h e r P . R a k i c s a i d , t h e s y n a p t i c a r c h i t e c t u r e d e n e s

t h e l i m i t s o f a n i n d i v i d u a l m e n t a l c a p a c i t y 1 6 5 . I n t h i s t h e s i s , w e a r e p a r t i c u l a r l y

i n t e r e s t e d i n t h e d e v e l o p m e n t o f t h e s e n s o r y n e u r a l c i r c u i t s t h a t e n a b l e u s t o l e a r n

s o m e t h i n g a b o u t o u r c h a n g i n g w o r l d b y m e a n s o f t h e c a p a c i t y o f c a t e g o r i z a t i o n .

4 . 2 A d a p t i v e c a t e g o r i z a t i o n

C a t e g o r i z a t i o n r e f e r s t o t h e p r o c e s s b y w h i c h d i s t i n c t e n t i t i e s a r e t r e a t e d a s e q u i v a l e n t . I t

i s c o n s i d e r e d a s o n e o f t h e m o s t f u n d a m e n t a l c o g n i t i v e a c t i v i t i e s b e c a u s e c a t e g o r i z a t i o n

a l l o w s u s t o u n d e r s t a n d a n d m a k e p r e d i c t i o n s a b o u t o b j e c t s a n d e v e n t s i n o u r w o r l d .

I n d e e d , w h a t w e m e a n b y a c o n c e p t i s a m e n t a l r e p r e s e n t a t i o n o f a c a t e g o r y 1 3 5 . W e

u s e c o n c e p t s t o i n t e r p r e t o u r c u r r e n t e x p e r i e n c e b y c l a s s i f y i n g i t a s b e i n g o f a p a r t i c u l a r

k i n d , a n d h e n c e r e l a t i n g i t t o p r i o r k n o w l e d g e t o p r o v i d e a m e a n s o f u n d e r s t a n d i n g t h e

w o r l d 7 9 . T h i s i s e s s e n t i a l i n h u m a n s , f o r i n s t a n c e , t o b e a b l e t o h a n d l e t h e c o n s t a n t l y

c h a n g i n g a c t i v a t i o n o f a r o u n d 1 0

8

p h o t o - r e c e p t o r s i n e a c h e y e 5 1 .

W h e n w e l e a r n t o s o r t o b j e c t s i n t o c a t e g o r i e s , w e n o t e t h e i r d i e r e n c e s : m e m b e r s o f

t h e s a m e c a t e g o r y l o o k m o r e a l i k e a n d m e m b e r s o f d i e r e n t c a t e g o r i e s l o o k m o r e d i e r e n t .

T h i s p h e n o m e n o n o f w i t h i n - c a t e g o r y c o m p r e s s i o n a n d b e t w e e n - c a t e g o r y s e p a r a t i o n i n

s i m i l a r i t y s p a c e i s c a l l e d c a t e g o r i c a l p e r c e p t i o n C P 8 0 .

S o m e p s y c h o l o g i s t s h a v e p r o p o s e d t h a t s i m i l a r i t y i s a n o r g a n i z i n g p r i n c i p l e . F o r

i n s t a n c e , W i l l i a m J a m e s w r o t e i n h i s b o o k T h e P r i n c i p l e s o f P s y c h o l o g y : T h i s s e n s e o f

s a m e n e s s i s t h e v e r y k e e l a n d b a c k b o n e o f o u r t h i n k i n g 1 0 1 .

H o w e v e r , t h i s t h e o r y i s s o m e h o w c o n t r o v e r s i a l g i v e n t h a t s i m i l a r i t y i s u s u a l l y d e n e d

i n t e r m s o f s h a r e d p r o p e r t i e s , a n d t h u s w e m a y s e e t h i n g s a s s i m i l a r j u s t b e c a u s e t h e y

b e l o n g t o t h e s a m e c a t e g o r y a n d n o t v i c e v e r s a 1 3 5 . C a t e g o r i z a t i o n t h u s t o u c h e s

i n t e r e s t i n g a p p l i e d a n d t h e o r e t i c a l i s s u e s : f o r e x a m p l e , a c o n s e q u e n c e o f t h e s i m i l a r i t y

v i e w i m p l i e s t h a t t h e w o r l d i s o r g a n i z e d f o r u s a n d t h a t o u r c a t e g o r i e s m a p o n t o s u c h

r e a l i t y 1 3 5 .

G e o m e t r i c m o d e l s h a v e b e e n a m o n g t h e m o s t f r e q u e n t l y - u s e d a p p r o a c h e s t o a n a -

l y z i n g s i m i l a r i t y 6 9 . F o r i n s t a n c e , t h e E u c l i d e a n d i s t a n c e m e t r i c o f t e n p r o v i d e s g o o d

t s t o h u m a n s i m i l a r i t y j u d g m e n t s . H o w e v e r , t o c o m p a r e t h i n g s t h a t a r e r i c h l y s t r u c -

t u r e d a n d n o t j u s t a c o l l e c t i o n o f c o o r d i n a t e s o r f e a t u r e s , i t i s o f t e n m o s t e c i e n t t o

u s e h i e r a r c h i e s p a r t s c o n t a i n i n g p a r t s a n d o r p r o p o s i t i o n s r e l a t i o n a l p r e d i c a t e s t a k i n g

a r g u m e n t s 6 9 .

I n o u r p r e s e n t w o r k , w e a r e i n t e r e s t e d i n t w o d i e r e n t c a t e g o r i z a t i o n t a s k s : t h e r s t

t a s k i s r e l a t e d t o i m a g e p r o c e s s i n g , w h i l e t h e s e c o n d t a s k i s r e l a t e d t o n e u r o c o n t r o l . I n

t h e r s t t a s k , t h e p r o c e s s o f c o l o r c a t e g o r i z a t i o n i s u s e d f o r i m a g e s e g m e n t a t i o n a n d

r e c o g n i t i o n . I n t h e s e c o n d t a s k , a n a u t o n o m o u s i n t e l l i g e n t s y s t e m s e l f - c a t e g o r i z e s o r

c l u s t e r s i t s s e n s o r r e a d i n g s i n o r d e r t o i n t e g r a t e t h e r e l e n t l e s s b o m b a r d m e n t o f s i g n a l s

c o m i n g f r o m t h e e n v i r o n m e n t . I t c a n u l t i m a t e l y s e r v e a s a c o m p u t a t i o n a l m o d e l t o

a t t e m p t t o e x p l a i n h o w w e m a n a g e t o i n t e g r a t e s u c h s i g n a l s i n t o u n i e d m o m e n t s o f

c o n s c i o u s e x p e r i e n c e t h a t c o h e r e t o g e t h e r d e s p i t e t h e i r d i v e r s i t y 7 3 , a n d h o w a s y s t e m

c a n a c h i e v e c o n t i n u a l l e a r n i n g t h r o u g h o u t i t s l i f e .



4 . 3 T h e A d a p t i v e R e s o n a n c e T h e o r y A R T 3 7

Working memory (STM)

Input (I)

List of categories (STM)

and top-down (solid arrows)

connections (LTM)

Bottom-up (dashed arrows)

F2

F1X2X1

F i g u r e 4 . 2 : A R T o u t l i n e . A n A R T m o d e l i s c o m p o s e d o f t w o l a y e r s o f n e u r o n s F

1

a n d F

2

.

T h e a c t i v a t i o n o f n e u r o n s i n F

1

a n d F

2

c o r r e s p o n d s t o a s h o r t - t e r m m e m o r y S T M p a t t e r n

o f a c t i v a t i o n , w h i l e t h e w e i g h t s o n t h e b o t t o m - u p d a s h e d l i n e s a n d t o p - d o w n s o l i d l i n e s

c o n n e c t i o n s i m p l e m e n t a l o n g - t e r m m e m o r y L T M . I n f o r m a t i o n c a n o w f r o m t h e s h o r t - t e r m

m e m o r y t o t h e l o n g - t e r m m e m o r y d u r i n g l e a r n i n g i . e . , w h e n t h e n S T M p a t t e r n s a n d t h e L T M

e x p e c t a t i o n s r e s o n a t e , a n d f r o m t h e l o n g - t e r m m e m o r y t o t h e s h o r t - t e r m m e m o r y d u r i n g

r e c a l l . L a t e r a l i n h i b i t o r y a n d s e l f - e x c i t a t o r y c o n n e c t i o n s o f n e u r o n s i n l a y e r F

2

a r e e s s e n t i a l f o r

c o m p e t i t i v e l e a r n i n g .

4 . 3 T h e A d a p t i v e R e s o n a n c e T h e o r y A R T

S e l f - o r g a n i z i n g f e a t u r e m a p m o d e l s 1 0 7 a n d c o m p e t i t i v e l e a r n i n g m o d e l s i n g e n e r a l 7 0 ,

2 2 0 c o m b i n e a s s o c i a t i v e l e a r n i n g a n d l a t e r a l i n h i b i t i o n t o e n a b l e a s y s t e m t o l e a r n c a t e -

g o r i e s . S u c h m o d e l s a r e p a r t i c u l a r l y u s e f u l i n t a s k s w h e r e t h e s y s t e m i s g i v e n a c o l l e c t i o n

o f p a t t e r n s a n d i s a s k e d t o c o n s t r u c t a m o d e l t o e x p l a i n t h e o b s e r v e d p r o p e r t i e s o f t h e

p a t t e r n s . N o e x t e r n a l s u p e r v i s o r p r o v i d e s t h e d e s i r e d o u t p u t s o r r e w a r d s . S u c h m o d e l

m u s t r e e c t t h e p a r t i c u l a r s t a t i s t i c a l s t r u c t u r e o f t h e o v e r a l l c o l l e c t i o n o f i n p u t p a t t e r n s

S e c t i o n 2 . 5 . 3 . N e v e r t h e l e s s , u n d e r a r b i t r a r y e n v i r o n m e n t a l c o n d i t i o n s , l e a r n i n g b e -

c o m e s u n s t a b l e 7 3 . T h e l e a r n e d c a t e g o r i e s m a y v a r y w i t h t h e o r d e r o f p r e s e n t a t i o n o f

t h e i n p u t p a t t e r n s , a n d t h e c a t e g o r y o f a g i v e n i n p u t p a t t e r n m a y c o n t i n u e t o c h a n g e .

O n e w a y t o a v o i d t h i s p r o b l e m i s t o g r a d u a l l y r e d u c e t h e l e a r n i n g r a t e , w i t h a c o r r e -

s p o n d i n g l o s s o f t h e n e t w o r k p l a s t i c i t y . G r o s s b e r g i n t r o d u c e d t h e A d a p t i v e R e s o n a n c e

T h e o r y A R T t o s t a b i l i z e t h e m e m o r y o f a s e l f - o r g a n i z i n g f e a t u r e m a p 7 3 .

T h e A R T l e a r n i n g m o d e l r s t a s s u m e s t h e e x i s t e n c e o f t w o t y p e s o f m e m o r i e s : a

s h o r t - t e r m m e m o r y S T M a n d a l o n g - t e r m m e m o r y L T M 8 3 . T h e s h o r t - t e r m m e m o r y

h a s a l i m i t e d c a p a c i t y , b u t i s a b l e t o a c q u i r e i n f o r m a t i o n a t v e r y h i g h r a t e s . C o n v e r s e l y ,

t h e l o n g - t e r m m e m o r y h a s a h u g e c a p a c i t y , b u t i s v e r y s e n s i t i v e t o t h e r a t e o f a r r i v a l

o f i n f o r m a t i o n , a n d t e n d s t o e n c o d e i n f o r m a t i o n i n t e r m s o f m e a n i n g i n s t e a d o f , f o r

e x a m p l e , s o u n d 1 9 .

A n A R T l e a r n i n g m o d e l c o n s i s t s o f a s h o r t - t e r m m e m o r y a n d a l o n g - t e r m m e m o r y

e l e m e n t s . I n f o r m a t i o n c a n o w f r o m t h e S T M t o t h e L T M d u r i n g l e a r n i n g , a n d f r o m t h e

L T M t o t h e S T M d u r i n g r e c a l l . A n A R T n e u r a l n e t w o r k i s c o m p o s e d o f t w o l a y e r s o f

n o d e s a s s h o w n i n F i g u r e 4 . 2 : a f e a t u r e r e p r e s e n t a t i o n l a y e r F

1

a n d a c a t e g o r y r e p r e s e n -




t a t i o n l a y e r F

2

. W e i g h t e d c o n n e c t i o n s b e t w e e n t h e l a y e r s i n b o t h d i r e c t i o n s i m p l e m e n t a

l o n g - t e r m m e m o r y . W h e n a n i n p u t p a t t e r n I i s p r e s e n t e d t o t h e n e t w o r k , a s h o r t - t e r m

m e m o r y a c t i v a t i o n i s g e n e r a t e d i n t h e b o t t o m l a y e r F

1

, i . e . , t h e w o r k i n g m e m o r y t h e

X

1

; X

2

p a t t e r n o f a c t i v a t i o n i n F i g u r e 4 . 2 . T h e s u c i e n t l y a c t i v e n o d e s i n t h e b o t t o m

l a y e r t h e n e m i t b o t t o m - u p s i g n a l s t o t h e t o p l a y e r F

2

. S u c h s i g n a l s a r e a m p l i e d b y t h e

b o t t o m - u p i n t e r c o n n e c t i o n w e i g h t s i . e . , t h e l o n g - t e r m m e m o r y , a n d s u m m e d b e f o r e

g e n e r a t i n g a s h o r t - t e r m m e m o r y p a t t e r n o f a c t i v a t i o n a c r o s s t h e c a t e g o r y r e p r e s e n t a t i o n

l a y e r F

2

. T h e L T M i n t h e b o t t o m - u p c o n n e c t i o n s t h u s s e r v e a s a n a d a p t i v e l t e r , a n d

i n u e n c e t h e s e l e c t i o n o f c a t e g o r i e s i n t h e t o p l a y e r f o r t h e g i v e n i n p u t p a t t e r n I . T h e

c a t e g o r i e s i n l a y e r F

2

a c t i v a t e L T M t o p - d o w n e x p e c t a t i o n s t h a t a r e m a t c h e d a g a i n s t t h e

a c t i v e S T M p a t t e r n s . I f t h i s t e s t i n g p r o c e s s e n d s i n a n a p p r o x i m a t e m a t c h i n g i . e . , t h e

n e w i n f o r m a t i o n c a n b e s a f e l y a c c o m m o d a t e d i n t o e x i s t i n g c a t e g o r i e s , a f u s i o n o f t h e

S T M p a t t e r n a n d t h e t o p - d o w n e x p e c t a t i o n s o c c u r s , t h e b o t t o m - u p a n d t o p - d o w n s i g -

n a l p a t t e r n s m u t u a l l y r e i n f o r c e a n d c o n v e r g e t o a r e s o n a n t s t a t e o f s h o r t - t e r m m e m o r y

a c t i v a t i o n t h a t i s i n c o r p o r a t e d i n t o t h e l o n g - t e r m m e m o r y i . e . , t h e s y s t e m l e a r n s 3 7 .

C o n v e r s e l y , i f t h e b o t t o m - u p a n d t h e t o p - d o w n i n f o r m a t i o n d o n o t m a t c h , a n d a

r e s o n a n c e c a n n o t d e v e l o p , t h e n t h e F

2

c a t e g o r y i s q u i c k l y r e s e t a n d a m e m o r y s e a r c h f o r

a b e t t e r c a t e g o r y i s i n i t i a t e d . W h e n a n u n c o m m i t t e d n o d e a t F

2

i s s e l e c t e d , t h e b o t t o m -

u p a n d t o p - d o w n L T M t r a c e s l e a r n t h e S T M t r a c e i n F

1

a n d n o t o p - d o w n a l t e r a t i o n

o f t h e p a t t e r n i n F

1

o c c u r s . I f t h e f u l l c a p a c i t y h a s b e e n e x h a u s t e d a n d n o a d e q u a t e

m a t c h e x i s t s , l e a r n i n g i s i n h i b i t e d . T h e c o m b i n a t i o n o f t o p - d o w n m a t c h i n g , a t t e n t i o n

f o c u s i n g , a n d m e m o r y s e a r c h i s w h a t s t a b i l i z e s s e l f - o r g a n i z i n g m a p s i n a n a r b i t r a r y i n p u t

e n v i r o n m e n t 7 3 .

T o s u m m a r i z e , t h e A R T t h e o r y c l a i m s t h a t , i n o r d e r t o s o l v e t h e s t a b i l i t y - p l a s t i c i t y

d i l e m m a , o n l y r e s o n a n t s t a t e s c a n d r i v e n e w l e a r n i n g . T h i s p r i n c i p l e h a s b e e n u s e d

w i t h g r e a t s u c c e s s b y t h e a r t i c i a l n e u r a l n e t w o r k c o m m u n i t y a s w i l l b e s h o w n i n t h e

n e x t s e c t i o n . G r o s s b e r g a l s o u s e d h i s t h e o r y o f h u m a n c o g n i t i v e i n f o r m a t i o n p r o c e s s i n g

t o e x p l a i n s e v e r a l c h a l l e n g i n g b e h a v i o r a l a n d b r a i n d a t a i n c l u d i n g v i s u a l p e r c e p t i o n ,

v i s u a l o b j e c t r e c o g n i t i o n , a n d a u d i t o r y s o u r c e i d e n t i c a t i o n 7 3 . D e s p i t e t h e d i v e r s i t y

o f t a s k s , t h e n e u r a l c i r c u i t s t h a t g o v e r n s u c h p r o c e s s e s s e e m t o r e l y o n a s i m i l a r s e t o f

c o m p u t a t i o n a l p r i n c i p l e s , r e p r e s e n t e d i n t h e A R T t h e o r y . G r o s s b e r g u l t i m a t e l y e x t e n d e d

h i s c l a i m s t o s t a t e t h a t t h e c e n t r a l h y p o t h e s i s o f A R T i s : a l l c o n s c i o u s s t a t e s a r e r e s o n a n t

s t a t e s 7 3 .

4 . 3 . 1 A R T - b a s e d a r t i c i a l n e u r a l n e t w o r k m o d e l s

T h e A R T t h e o r y h a s l e d t o a n e v o l v i n g s e r i e s o f a r t i c i a l n e u r a l n e t w o r k m o d e l s t h a t

p e r f o r m s u p e r v i s e d a n d u n s u p e r v i s e d l e a r n i n g 3 4 , 3 5 , 3 6 , 3 8 , 4 0 , 4 1 , 4 2 F i g u r e 4 . 3 . I n

p a r t i c u l a r , A . E . A l p a y d i n 6 d e v e l o p e d t w o e x t e n s i o n s o f A R T c a l l e d G r o w a n d L e a r n

G A L , a n d G r o w a n d R e p r e s e n t G A R , w h i c h i n s p i r e d t h e F l e x i b l e A d a p t a b l e - S i z e

T o p o l o g y F A S T n e u r a l a r c h i t e c t u r e d e s c r i b e d i n t h i s t h e s i s .

A R T e n c o m p a s s e s a w i d e v a r i e t y o f a r t i c i a l n e u r a l n e t w o r k m o d e l s b a s e d e x p l i c i t l y

o n n e u r o p h y s i o l o g y , w h i c h p e r h a p s e x p l a i n s w h y t h e t h e o r y h a s i t s o w n j a r g o n . F o r

e x a m p l e , t h e c u r r e n t t r a i n i n g i n p u t p a t t e r n i s s t o r e d i n s h o r t t e r m m e m o r y a n d c l u s -

t e r s e e d s o r r e f e r e n c e v e c t o r s a r e s t o r e d i n a l o n g t e r m m e m o r y . T h e m e c h a n i s m o f




Adaptive Resonance Theory

ART1

ART2

ART3

dART and dARTMAP

GAL and GAR

FAST

(Alpaydin 90 [6]) (Carpenter & Grossberg 90 [38])

(Carpenter & Grossberg 87 [35])

(Carpenter & Grossberg 87[36])

(Grossberg 76 [70,71])

(Carpenter et al 91a [41], Carpenter et al 91b [42])

(Carpenter et al 92 [40])

(Carpenter 96 [34])(Perez & Sanchez 96 [152])

Fuzzy-ARTMAP

ARTMAP and Fuzzy-ART

F i g u r e 4 . 3 : E v o l u t i o n o f s o m e A R T - b a s e d a r t i c i a l n e u r a l n e t w o r k m o d e l s .

c a t e g o r y s e l e c t i o n i s p e r f o r m e d b y a n a t t e n t i o n a l s u b s y s t e m a n d a n o r i e n t i n g s u b s y s t e m ,

t h e l a t t e r p e r f o r m i n g h y p o t h e s i s t e s t i n g t h e c o m p a r i s o n w i t h t h e v i g i l a n c e p a r a m e t e r

o r t h e t h r e s h o l d . S t a b l e l e a r n i n g m e a n s t h a t t h e a l g o r i t h m c o n v e r g e s . S o t h e o f t e n -

r e p e a t e d c l a i m t h a t A R T a l g o r i t h m s a r e c a p a b l e o f r a p i d s t a b l e l e a r n i n g o f r e c o g n i t i o n

c o d e s i n r e s p o n s e t o a r b i t r a r y s e q u e n c e s o f i n p u t p a t t e r n s 3 7 m e r e l y m e a n s t h a t A R T

a l g o r i t h m s a r e c l u s t e r i n g a l g o r i t h m s t h a t c o n v e r g e , a n d n o t , a s o n e m i g h t n a i v e l y a s -

s u m e , t h a t t h e c l u s t e r s a r e i n s e n s i t i v e t o t h e s e q u e n c e i n w h i c h t h e t r a i n i n g p a t t e r n s a r e

p r e s e n t e d i n f a c t , q u i t e t h e o p p o s i t e i s t r u e .

4 . 3 . 2 A R T a n d c o n v e n t i o n a l c l u s t e r i n g a l g o r i t h m s

A R T 1 a n d A R T 2 w e r e t h e r s t c o m p u t a t i o n a l i m p l e m e n t a t i o n s o f t h e A R T t h e o r y

p r e m i s e s . A R T 2 , f o r e x a m p l e , i s d e n e d a l g o r i t h m i c a l l y i n t e r m s o f d e t a i l e d d i e r -

e n t i a l e q u a t i o n s i n t e n d e d a s p l a u s i b l e m o d e l s o f b i o l o g i c a l n e u r o n s 3 5 , e v e n t h o u g h , i n

p r a c t i c e , A R T n e t w o r k s a r e i m p l e m e n t e d u s i n g a n a l y t i c a l s o l u t i o n s o r a p p r o x i m a t i o n s o f

t h e s e d i e r e n t i a l e q u a t i o n s . T h e A R T 1 a n d A R T 2 a l g o r i t h m s i m p l e m e n t t h e f o l l o w i n g

s t e p s a c c o r d i n g t o t h e A R T t h e o r y :

1 . P o t e n t i a l c o m p u t a t i o n : T h e p o t e n t i a l o r a s h o r t - t e r m m e m o r y a c t i v i t y i n t h e

r e p r e s e n t a t i o n a l l a y e r F

1

i s c o m p u t e d a s a f u n c t i o n o f t h e i n p u t s .




b)a)x

yy

x

fieldReceptive

vectorReference

regionVoronoi

ThresholdT

WW2

W1

F i g u r e 4 . 4 : a R e c e p t i v e e l d o f a n e u r o n a n d b a p a r t i c u l a r p a r t i t i o n o f t h e i n p u t s p a c e o r

V o r o n o i t e s s e l l a t i o n a l l r e f e r e n c e v e c t o r s a r e n o t s h o w n f o r c l a r i t y

2 . B o t t o m - u p l t e r i n g : T h e s h o r t - t e r m m e m o r y p a t t e r n i s i n t e n s i e d o r d i m i n i s h e d

b y m e a n s o f a b o t t o m - u p a d a p t i v e l t e r .

3 . C a t e g o r y s e l e c t i o n : A s h o r t - t e r m m e m o r y p a t t e r n o f a c t i v a t i o n i s g e n e r a t e d

a c r o s s t h e c a t e g o r y r e p r e s e n t a t i o n l a y e r F

2

a s a f u n c t i o n o f t h e l t e r e d s h o r t -

t e r m m e m o r y p a t t e r n i n l a y e r F

1

.

4 . M a t c h i n g e x p e c t a t i o n s : T h e s h o r t - t e r m m e m o r y p a t t e r n i n l a y e r F

2

a c t i v a t e s

l o n g - t e r m m e m o r y t o p - d o w n e x p e c t a t i o n s w h i c h a r e t h e n m a t c h e d a g a i n s t t h e

a c t i v e S T M p a t t e r n s i n l a y e r F

1

.

5 . L e a r n i n g : I f t h e r e s u l t i s a n a p p r o x i m a t e m a t c h i n g , a n e w S T M p a t t e r n o f a c t i v i t y

i s c o m p u t e d a s a c o n s e n s u s b e t w e e n t h e S T M p a t t e r n i n l a y e r F

1

a n d t h e L T M

t o p - d o w n e x p e c t a t i o n s , a n d i s t h e n i n c o r p o r a t e d i n t o t h e L T M t r a c e s .

6 . R e s e t : I f t h e d e g r e e o f m a t c h b e t w e e n t h e S T M p a t t e r n a n d t h e L T M p a t t e r n

t h e e x p e c t a t i o n s i s n o t s u c i e n t , a n o r i e n t i n g s u b s y s t e m r e s e t s t h e S T M p a t t e r n

a c t i v a t i o n i n l a y e r F

2

a n d a m e m o r y s e a r c h f o r a b e t t e r c a t e g o r y i s i n i t i a t e d . A n

u n c o m m i t t e d n o d e i s c h o s e n i f t h e m e m o r y i s n o t y e t f u l l y u s e d .

F r o m t h e p u r e c l u s t e r i n g p o i n t o f v i e w , t h e d i s t i n c t i v e c h a r a c t e r i s t i c o f t h e A R T

m o d e l s i s t h e u s e o f a v i g i l a n c e p a r a m e t e r , w h i c h d e t e r m i n e s t h e m a x i m u m d i s t a n c e

b e t w e e n t w o v e c t o r s i n t h e s a m e c a t e g o r y . I n t e r m s o f p a t t e r n c l u s t e r i n g i t i s r e l a t e d t o

a d i s t a n c e t h r e s h o l d o r t h e c l u s t e r d i a m e t e r 1 4 3 . T h e v i g i l a n c e p a r a m e t e r i s t h u s u s e d t o

d e t e r m i n e i f a n i n p u t i s s u c i e n t l y s i m i l a r t o t h o s e a l r e a d y l e a r n e d , o t h e r w i s e a c t i v a t i n g

a n e w c a t e g o r y u n t i l t h e m e m o r y c a p a c i t y i s f u l l . T h e r e f e r e n c e v e c t o r c o r r e s p o n d s t o

a p r o t o t y p e o f t h e a s s o c i a t e d c l u s t e r c a t e g o r y , a n d d e t e r m i n i n g t h e r e s o n a n t n e u r o n s

i s e q u i v a l e n t t o n d i n g t h e n e a r e s t o r t h e m o s t s i m i l a r c l u s t e r p r o t o t y p e i n t h e s p a c e o f

i n p u t p a t t e r n s . S o m e t i m e s , o n e m a y a l s o t a l k a b o u t t h e r e f e r e n c e v e c t o r a s t h e c e n t e r o f

t h e r e c e p t i v e e l d o r t h e s e n s i t i v e r e g i o n o f t h e n e u r o n . A g i v e n s e t o f n e u r o n s w i t h t h e i r

r e f e r e n c e v e c t o r s d e n e s a p a r t i c u l a r p a r t i t i o n o f t h e i n p u t s p a c e , t h e s o - c a l l e d V o r o n o i

t e s s e l l a t i o n F i g u r e 4 . 4 .




0 . S t a r t w i t h t h e s e t o f p r o t o t y p e v e c t o r s P

0

= f g .

1 . P r e s e n t a n e w i n p u t p a t t e r n P a n d n d t h e c l o s e s t p r o t o t y p e

v e c t o r i f a n y : i . e . , n d t h e n e u r o n j t h a t m a x i m i z e s

W

j

P

+ j j W

j

j j

,

w h e r e i s a c o n s t a n t v a l u e , a n d 1 .

2 . I f P

0

= f g o r P i s t o o f a r f r o m W

j

, t h a t i s , i f

W

j

P

+ j j W

j

j j

P P

+ n

,

w h e r e n i s t h e l e n g t h o f t h e b i n a r y v e c t o r s , c r e a t e a n e w n e u r o n

j

w i t h W

j

= P a n d m a k e P

0

= P

0

j

.

3 . I f W

j

d o e s n o t m a t c h P , t h a t i s , i f

W

j

P

P P

T , w h e r e T i s t h e

t h r e s h o l d . T h e n s e t P ' = P ' - i a n d g o t o s t e p 2 .

4 . I f W

j

s u c i e n t l y m a t c h e s P , u p d a t e W

j

: W

j

W

j

P .

5 . G o t o s t e p 1 .

F i g u r e 4 . 5 : T h e i n n e r l o o p o f a c l u s t e r i n g A R T 1 l e a r n i n g a l g o r i t h m .

A s a n e x a m p l e o f a s i m p l i e d c o m p u t a t i o n a l i m p l e m e n t a t i o n c a p t u r i n g t h e b a s i c

p r i n c i p l e s o f t h e t h e o r y , l e t ' s c o n s i d e r a n i m p l e m e n t a t i o n o f A R T , w h e r e e a c h n o d e o r

n e u r o n j o f t h i s i m p l e m e n t a t i o n o f A R T m a i n t a i n s a L T M t r a c e t h a t i s i m p l e m e n t e d

b y a r e f e r e n c e v e c t o r W

j

a w e i g h t v e c t o r a n d a t h r e s h o l d v a l u e T

j

i . e . , t h e v i g i l a n c e

p a r a m e t e r . T h e s e l f - o r g a n i z a t i o n o f c a t e g o r i e s b e g i n s b y p r e s e n t i n g t o t h e n e t w o r k a

v e c t o r P t h e p o t e n t i a l t h a t c o r r e s p o n d s t o a b i n a r y v e c t o r o f l e n g t h n . A s a f u n c t i o n

o f t h e i n p u t v e c t o r P t h e r s t l a y e r F

1

g e n e r a t e s a n i n p u t f o r t h e c o m p e t i t i v e s t a g e : a

n o d e i n t h e s e c o n d l a y e r F

2

r e c e i v e s a m e a s u r e o f s i m i l a r i t y b e t w e e n t h e r e f e r e n c e v e c t o r

W

j

a n d P i . e . , b o t t o m - u p l t e r i n g . T h e c l o s e s t n o d e i . e . , t h e n o d e w i t h t h e h i g h e s t

m e a s u r e o f s i m i l a r i t y w i n s i . e . , i t s c o r r e s p o n d i n g c a t e g o r y i s s e l e c t e d . T h e c o r r e l a t i o n

b e t w e e n t h e i n p u t p a t t e r n a n d t h e r e f e r e n c e v e c t o r i s t h e n u s e d t o d e t e r m i n e i f l e a r n i n g

s h o u l d o c c u r . I f t h e m a t c h i n g i s s u c i e n t a c c o r d i n g t o t h e v i g i l a n c e p a r a m e t e r , t h e

r e f e r e n c e v e c t o r W

j

i s m a d e m o r e s i m i l a r t o t h e i n p u t v e c t o r P . C o n v e r s e l y , i f t h e m a t c h

i s n o t s u c i e n t , a n u n c o m m i t t e d u n i t k i f a v a i l a b l e i s c h o s e n t o c o d e t h e i n p u t p a t t e r n

P .

I n F i g u r e 4 . 5 w e p r e s e n t a s i m p l e i m p l e m e n t a t i o n o f t h e A R T 1 m o d e l i n p r o c e d u r a l

f o r m , a n e x t e n s i o n w h i c h w a s u s e d t o i m p l e m e n t a n a n a l o g c l u s t e r i n g A R T 2 a l g o r i t h m t o

w o r k w i t h c o n t i n u o u s v a l u e s 6 , 3 3 . I n p a r t i c u l a r , t h e e x t e n s i o n u s e s E u c l i d e a n d i s t a n c e

a s a s i m i l a r i t y m e a s u r e a n d t h e w e i g h t v e c t o r a d a p t a t i o n a l i g n s t h e w e i g h t v e c t o r W

j

c l o s e r t o t h e c u r r e n t i n p u t v e c t o r P u s i n g t h e f o r m u l a : W

j i

= W

j i

+ P

i

, W

j i

f o r a l l i

d i m e n s i o n s o f t h e i n p u t s p a c e . T h e c l u s t e r i n g i m p l e m e n t a t i o n s o f A R T h a v e b e e n s h o w n

t o s h a r e a l o t o f c h a r a c t e r i s t i c s w i t h c l a s s i c c l u s t e r i n g a l g o r i t h m s s u c h a s k - m e a n s 1 7 0 .




4 . 4 G A R : G r o w a n d R e p r e s e n t m o d e l

T h e G r o w a n d R e p r e s e n t G A R m o d e l w a s d e v e l o p e d b y A . E . A l p a y d i n 6 a s a n e x t e n -

s i o n o f t h e c l u s t e r i n g A R T 2 n e u r a l m o d e l . H i s b a s i c i d e a w a s t o i n t r o d u c e d i e r e n t a n d

c h a n g i n g t h r e s h o l d v a l u e s v i g i l a n c e p a r a m e t e r s f o r t h e v a r i o u s u n i t s o r n e u r o n s i n t h e

n e t w o r k . F u r t h e r m o r e , h e c o n c e i v e d a p r u n i n g m e c h a n i s m t o a m e l i o r a t e t h e c l u s t e r i n g

c a p a b i l i t i e s o f t h e m o d e l . I n s u m m a r y , G A R p r e s e n t s t w o m e c h a n i s m s t h a t e n h a n c e t h e

A R T 2 b a s i c c l u s t e r i n g : v a r i a b l e v i g i l a n c e a n d p r u n i n g .

4 . 4 . 1 V a r i a b l e v i g i l a n c e

I n a c l u s t e r i n g A R T 2 i m p l e m e n t a t i o n t h e v a l u e o f t h e v i g i l a n c e p a r a m e t e r T i s d e t e r -

m i n e d a - p r i o r i b y t h e u s e r . A l o w v i g i l a n c e l e a d s t o b r o a d g e n e r a l i z a t i o n a n d a b s t r a c t

p r o t o t y p e s . H i g h v i g i l a n c e l e a d s t o n a r r o w g e n e r a l i z a t i o n a n d t o p r o t o t y p e s t h a t r e p r e -

s e n t f e w i n p u t e x e m p l a r s . L e a r n i n g u s i n g A R T s y s t e m s c a n c o n t i n u e i n a s t a b l e f a s h i o n ,

w i t h f a m i l i a r i n p u t s d i r e c t l y a c c e s s i n g t h e i r c a t e g o r i e s a n d n o v e l i n p u t s t r i g g e r i n g a d a p -

t i v e s e a r c h e s f o r b e t t e r c a t e g o r i e s , u n t i l t h e n e t w o r k f u l l y u s e s i t s m e m o r y c a p a c i t y 3 9 .

H o w e v e r , t h e q u a l i t y o f c a t e g o r i z a t i o n a t t a i n e d b y t h e a l g o r i t h m i s c r i t i c a l l y d e p e n d e n t

o n t h e s t a t i c v i g i l a n c e p a r a m e t e r , x e d a - p r i o r i .

A l p a y d i n i n t r o d u c e d t h e p o s s i b i l i t y o f h a v i n g d i e r e n t v i g i l a n c e p a r a m e t e r s t h r e s h -

o l d s a n d o f a d a p t i n g t h e a c t i v e n e u r o n s d e p e n d i n g o n t h e d e n s i t y o f e x e m p l a r s i n e v e r y

c l u s t e r . B a s i c a l l y , e a c h n e u r o n j , w h e n a c t i v a t e d , s e t s i t s r e f e r e n c e v e c t o r W

j

e q u a l t o P ,

w h e r e P i s t h e c u r r e n t i n p u t p a t t e r n , a n d i n i t i a l i z e s i t s t h r e s h o l d T

j

t o a n i n i t i a l v a l u e

T

i n i

. T h e s i z e o f t h e t h r e s h o l d i s t h e n a d a p t e d a c c o r d i n g t o t h e d e n s i t y o f e x e m p l a r s :

a s o - c a l l e d t r o p h y c o u n t

j

i s a s s o c i a t e d w i t h e a c h n e u r o n . W h e n a n e u r o n j w i n s a

c o m p e t i t i o n , i t s t r o p h y c o u n t i s i n c r e m e n t e d b y 1 . W h e n

j

r e a c h e s a l i m i t v a l u e

m a x

,

t h e t h r e s h o l d v a l u e T

j

i s d e c r e a s e d t o a m i n i m u m v a l u e T

m i n

d e n e d b y t h e u s e r s o

t h a t s m a l l s e n s i t i v i t y r e g i o n s a r e l o c a t e d i n d e n s e r e g i o n s o f t h e i n p u t s p a c e , a n d b i g

s e n s i t i v i t y r e g i o n s i n l o w d e n s i t y r e g i o n s . F u r t h e r m o r e , h e i n t r o d u c e d a m o d i e d w e i g h t

v e c t o r u p d a t e i n t e n d e d t o a m e l i o r a t e t h e c o n v e r g e n c e t o t h e m e a n o f a r e g i o n :

W

j i

t + 1 = W

j i

t +

T

j

1 +

j

P

i

, W

j i

t ; 4 . 1

w h e r e i s a s t e p - s i z e c o n s t a n t v a l u e . S c a l i n g w i t h t h e c u r r e n t t h r e s h o l d T

j

a s s u r e s

s m a l l c h a n g e s i n s m a l l h y p e r - s p h e r e c l u s t e r s i . e . , c l u s t e r s w i t h s m a l l t h r e s h o l d v a l u e s

a n d b i g c h a n g e s i n b i g g e r h y p e r - s p h e r e c l u s t e r s . T h e i n t r o d u c t i o n o f t h e t r o p h y c o u n t ,

o n t h e o t h e r h a n d , h a s t h e e e c t t h a t t h e w e i g h t v e c t o r s o f t h e u n i t s w i t h h i g h t r o p h y

v a l u e s g e t s m a l l c h a n g e s i n t h e i r w e i g h t v a l u e s .

4 . 4 . 2 P r u n i n g

T h e p r u n i n g i n G A R i s i n t e n d e d t o e l i m i n a t e t h e n e u r o n s w i t h s e n s i t i v i t y r e g i o n s t h a t

o v e r l a p t o a g r e a t e x t e n t w i t h o t h e r n e u r o n ' s s e n s i t i v i t y r e g i o n s . T o a c h i e v e t h i s , A l p a y -

d i n d e n e d a n a w a k e m o d e a n d a s l e e p m o d e o f f u n c t i o n i n g . A s l e e p p h a s e o c c u r s a f t e r a

c e r t a i n n u m b e r o f a w a k e p h a s e s i t w a s d e t e r m i n e d e m p i r i c a l l y t h a t a s l e e p p h a s e s h o u l d



4 . 5 T h e F A S T n e u r a l a r c h i t e c t u r e 4 3

o c c u r e v e r y 5 s w e e p s o v e r t h e e n t i r e t r a i n i n g s e t 6 . D u r i n g a n a w a k e p h a s e t h e s y s t e m

a d a p t s t h e w e i g h t v e c t o r s a n d t h e t h r e s h o l d s , a n d m a y a c t i v a t e n e w u n i t s i f a v a i l a b l e .

D u r i n g t h e s l e e p m o d e , i n p u t s a r e p r e s e n t e d t o t h e n e t w o r k a n d t r o p h i e s a r e c o m p u t e d .

T h e t h r e s h o l d s a r e n o t c o n s i d e r e d n o r m o d i e d , a n d t h u s e a c h i n p u t p a t t e r n i s s i m p l y

c a t e g o r i z e d b y n d i n g t h e n e a r e s t n e u r o n . A n e u r o n i s e l i m i n a t e d p r u n e d i f

j

1 , k

M

N

; 4 . 2

w h e r e M i s t h e n u m b e r o f i t e r a t i o n s , N i s t h e n u m b e r o f n e u r o n s , a n d k i s a c o n s t a n t

b e t w e e n 0 a n d 1 t y p i c a l l y 0 . 5 . T h e e l i m i n a t i o n o f n e u r o n s w i t h l o w t r o p h i e s a l s o a l l o w s

t h e s y s t e m t o h a n d l e t h e c a s e w h e n t h e p r o b a b i l i t y d e n s i t y o f t h e i n p u t p a t t e r n s c h a n g e s

i n t i m e .

T h e G A R e x t e n s i o n o f A R T 2 f o r m s c l u s t e r s o f p o s s i b l y d i e r e n t s i z e s a c c o r d i n g t o

t h e d e n s i t y o f e x e m p l a r s i n a g i v e n r e g i o n o f t h e i n p u t s p a c e , a n d a l l o w s t h e s y s t e m

t o h a n d l e t h e c a s e w h e n t h e p r o b a b i l i t y d e n s i t y o f t h e i n p u t p a t t e r n s c h a n g e s i n t i m e .

H o w e v e r , i t r e q u i r e s t h a t t h e w h o l e i n p u t p a t t e r n d a t a b a s e , s o m e h o w b e s t o r e d , t o i t e r a t e

t h r o u g h a l t e r n a t e a w a k e a n d s l e e p p h a s e s . F u r t h e r m o r e , t o c o n s i d e r t h e t r o p h y c o u n t

f o r w e i g h t v e c t o r u p d a t e i s c o m p u t a t i o n a l l y e x p e n s i v e b e c a u s e i t i n v o l v e s a d i v i s i o n .

I n t h e f o l l o w i n g s e c t i o n w e p r e s e n t a n a d a p t a t i o n o f t h e G A R c l u s t e r i n g a l g o r i t h m

w h i c h h a n d l e s t h e s e l i m i t a t i o n s , a n d c a r e f u l l y c o n s i d e r s t h e p o s s i b i l i t y o f a d i g i t a l i m -

p l e m e n t a t i o n .

4 . 5 T h e F A S T n e u r a l a r c h i t e c t u r e

T h e F l e x i b l e A d a p t a b l e - S i z e T o p o l o g y n e u r a l a r c h i t e c t u r e 1 5 2 i m p l e m e n t s a n u n s u -

p e r v i s e d l e a r n i n g n e u r a l n e t w o r k t h a t h a s b e e n d e v e l o p e d t o h a n d l e t h e p r o b l e m o f

d y n a m i c c a t e g o r i z a t i o n o r o n l i n e c l u s t e r i n g b y m e a n s o f a n o n - c o m p u t a t i o n a l l y - i n t e n s i v e

a l g o r i t h m .

C a t e g o r i e s o r c l u s t e r s a r e d e t e r m i n e d b y t h e n e t w o r k i t s e l f , b a s e d o n c o r r e l a t i o n s

o f t h e i n p u t s a s i n A R T . T h e r e f o r e , g i v e n t h a t t h e q u a l i t y o f c a t e g o r i z a t i o n a t t a i n e d

b y s u c h a l g o r i t h m i s c r i t i c a l l y d e p e n d e n t o n t h e s t a t i c v i g i l a n c e p a r a m e t e r , x e d a -

p r i o r i , F A S T i n c o r p o r a t e s A l p a y d i n ' s d y n a m i c v i g i l a n c e p a r a m e t e r s a n d a n o n l i n e p r u n -

i n g m e c h a n i s m b a s e d o n p r o b a b i l i s t i c d e a c t i v a t i o n o f n e u r o n s . T h e p r u n i n g m e c h a n i s m

c o m p l e m e n t s t h e i n h e r e n t g r o w t h o f A R T a n d a l l o w s t h e l e a r n i n g n e t w o r k t o a d a p t t o i n -

p u t s i g n a l s w i t h c h a n g i n g p r o b a b i l i t y d e n s i t i e s a n d t o r e l e a s e a n e u r o n w h e n i t s c a t e g o r y

i s r e d u n d a n t i . e . , i t i s a l r e a d y r e p r e s e n t e d b y a n o t h e r n e u r o n . T h e r e s u l t i n g l e a r n i n g

n e t w o r k a n d i t s d y n a m i c s a r e e x p l a i n e d i n d e t a i l i n S e c t i o n 4 . 5 . 2 .

A n u m b e r o f A R T - b a s e d l e a r n i n g a l g o r i t h m s a n d u n s u p e r v i s e d a r t i c i a l n e u r a l n e t -

w o r k m o d e l s w i t h m o d i a b l e s t r u c t u r e s h a v e a l r e a d y b e e n d e v e l o p e d b y o t h e r s 6 , 5 9 , 6 4 .

H o w e v e r , m o s t o f t h o s e a l g o r i t h m s a r e c o m p u t a t i o n a l l y i n t e n s i v e a n d i t i s d i c u l t t o

a d a p t t h e m i n o r d e r t o a c h i e v e a s e l f - a d a p t i n g s t a n d - a l o n e d i g i t a l i m p l e m e n t a t i o n t o b e

u s e d i n r e a l - t i m e c o n t r o l a p p l i c a t i o n s . F A S T w a s c o n c e i v e d t o b e i m p l e m e n t e d u s i n g

o n e o r f e w F P G A d e v i c e s , w h e r e a s o t h e r a p p r o a c h e s h a v e l e d t o t h e d e v e l o p m e n t o f

m a s s i v e l y p a r a l l e l n e u r o c o m p u t e r a r c h i t e c t u r e s 1 4 6 a n d A S I C s 4 9 , 9 5 .




a) b)x

y

x

y

F i g u r e 4 . 6 : I n t r o d u c t i o n o f a n e w n e u r o n i n a G r o w i n g C e l l S t r u c t u r e . a T h e n e t w o r k s t a r t s

w i t h a k - d i m e n s i o n a l s i m p l e x . b A n e w n e u r o n i s i n t r o d u c e d b y e s t a b l i s h i n g c o n n e c t i o n s t o

t h e n e u r o n w i t h h i g h e s t l o c a l e r r o r a n d t o i t s n e i g h b o r s r e f e r e n c e v e c t o r s a r e n o t s h o w n f o r

c l a r i t y .

4 . 5 . 1 R e l a t e d w o r k

A s w e h a v e s e e n , t h e F A S T a r c h i t e c t u r e i s d i r e c t l y r e l a t e d t o t h e s e m i n a l w o r k o f C a r -

p e n t e r a n d G r o s s b e r g o n t h e A R T t h e o r y 3 7 , t o A l p a y d i n ' s e x t e n s i o n o f A R T 6 , a n d

s i m i l a r o n t o g e n i c u n s u p e r v i s e d a l g o r i t h m s l i k e t h e G r o w i n g C e l l S t r u c t u r e s 6 4 . I t i s

a l s o r e l a t e d t o s i m i l a r a l g o r i t h m s d e v e l o p e d i n p a r a l l e l u s i n g v e r y d i e r e n t s o u r c e s o f

i n s p i r a t i o n , p a r t i c u l a r l y n o n l i n e a r s t a t i s t i c s 1 8 0 . F r o m t h e h a r d w a r e p o i n t o f v i e w , i t

i s p a r t i c u l a r l y r e l a t e d t o M o r e n o ' s w o r k 1 4 6 a n d t o t h e Z e r o I n s t r u c t i o n S e t C o m p u t e r

Z I S C c h i p s d e v e l o p e d b y I B M F r a n c e 9 5 . F i n a l l y , s o m e h a r d w a r e i m p l e m e n t a t i o n s o f

A R T n e t w o r k s h a v e b e e n p r o p o s e d , n o t a b l y u s i n g a n a l o g h a r d w a r e 1 6 8 , 1 8 8 .

G r o w i n g C e l l S t r u c t u r e s G C S

T h e G r o w i n g C e l l S t r u c t u r e s a l g o r i t h m 6 4 F i g u r e 4 . 6 w a s c o n c e i v e d t o a l l e v i a t e t h e

p r o b l e m o f n d i n g t h e m o s t e c i e n t t o p o l o g y i n a s e l f - o r g a n i z i n g f e a t u r e m a p 1 0 7 i n

o r d e r t o o b t a i n a d e q u a t e m a p p i n g s w h e n k n o w l e d g e o f t h e p r o b a b i l i t y d i s t r i b u t i o n o f

t h e d a t a i s m i s s i n g . I n s u c h c a s e s , t h e s t a n d a r d t o p o l o g y a s q u a r e g r i d c a n l e a d t o

p o o r m a p p i n g s w i t h r a t h e r a r b i t r a r y n e i g h b o r h o o d r e l a t i o n s 6 4 .

L e a r n i n g i n t h i s a p p r o a c h c o n s i s t s o f t h e a d a p t a t i o n o f t h e r e f e r e n c e v e c t o r s a n d

o f t h e i n s e r t i o n o f n o d e s a n d c o n n e c t i o n s . T h e p u r p o s e o f t h e g r o w i n g c e l l s t r u c t u r e s

m o d e l i s t h e g e n e r a t i o n o f a t o p o l o g y - p r e s e r v i n g m a p p i n g f r o m t h e i n p u t s p a c e R

n

o n t o

a t o p o l o g i c a l s t r u c t u r e o f e q u a l o r l o w e r d i m e n s i o n a l i t y k . I t s t a r t s w i t h a k - d i m e n s i o n a l

s t r u c t u r e a s i m p l e x w i t h i t s k + 1 v e r t i c e s i n i t i a l i z e d t o r a n d o m v e c t o r s i n R

n

. W h e n

a n i n p u t p a t t e r n P i s p r e s e n t e d t o t h e n e t w o r k , t h e b e s t m a t c h i n g n e u r o n i s d e t e r m i n e d .

T h i s w i n n e r u n i t u p d a t e s a l o c a l e r r o r v a l u e a n d a l t e r s i t s r e f e r e n c e v e c t o r s t o w a r d s t h e

i n p u t P , a s w e l l a s i t s t o p o l o g i c a l n e i g h b o r s . A f t e r a c e r t a i n n u m b e r o f s t e p s , a n e w

n e u r o n i s i n t r o d u c e d b y e s t a b l i s h i n g c o n n e c t i o n s t o t h e n e u r o n w i t h h i g h e s t l o c a l e r r o r

a n d t o i t s n e i g h b o r s . A s a c o n s e q u e n c e t h e a c c u m u l a t e d e r r o r s o f t h e n e u r o n s i n t h e

v i c i n i t y a r e r e d u c e d .




x2x1

f

R

i

~x = e x p

h

,

j j ~x , ~c j j

2

2

i

,

w h e r e ~x i s t h e i n p u t v e c t o r

a n d ~c i s t h e r e f e r e n c e v e c t o r .

F i g u r e 4 . 7 : A n e t w o r k o f l o c a l i z e d r e c e p t i v e e l d s o r R a d i a l B a s i s F u n c t i o n n e u r a l n e t w o r k

R B F 1 6 3 a n d i t s G a u s s i a n t r a n s f e r f u n c t i o n .

I n c o n t r a s t t o o t h e r a p p r o a c h e s a l l p a r a m e t e r s a r e c o n s t a n t , e l i m i n a t i n g t h e n e e d

t o d e n e a d e c a y o r a n n e a l i n g s c h e d u l e . H o w e v e r , d u e t o t h e i r r e g u l a r a n d d y n a m i c

g r a p h s t r u c t u r e u s e d , t h e G C S m o d e l i s m o r e d i c u l t t o i m p l e m e n t t h a n m o d e l s w i t h a

p r e d e n e d r e g u l a r s t r u c t u r e .

R e s o u r c e A l l o c a t i n g N e t w o r k s

M o o d y a n d D a r k e n 1 4 1 a n d t h e n P l a t t 1 6 1 h a v e u s e d n e t w o r k s w h o s e t r a n s f e r f u n c t i o n

i s a G a u s s i a n F i g u r e 4 . 7 , i n s p i r e d b y a p p r o x i m a t i o n t h e o r y . B a s i c a l l y , t h e t r a n s f e r

f u n c t i o n s d e n e r e c e p t i v e e l d s i n t h e i n p u t s p a c e o f t h e s y s t e m . W h e n a n e w i n p u t

p a t t e r n i s p r e s e n t e d t o t h e s y s t e m , i t a c t i v a t e s a c e r t a i n r e c e p t i v e l t e r , w h i c h t h e n

u p d a t e s i t s p a r a m e t e r s l e a r n s l o c a l l y . W h i l e g l o b a l l e a r n i n g s y s t e m s i . e . , a f e e d f o r w a r d

n e t w o r k w i t h b a c k p r o p a g a t i o n a d a p t a t i o n c a n a c h i e v e g r e a t e r g e n e r a l i z a t i o n f r o m e a c h

t r a i n i n g p a t t e r n d u e t o t h e g l o b a l a d a p t a t i o n , a l o c a l i z e d r e c e p t i v e e l d a p p r o a c h i s

c o m p u t a t i o n a l l y m o r e e c i e n t i f d a t a i s n o t e x p e n s i v e t o o b t a i n 1 4 0 . I t h a s a l s o b e e n

f o u n d t h a t s i m i l a r s t r u c t u r e s a r e p r e s e n t i n r e a l n e r v o u s s y s t e m s 9 3 .

I n 1 6 1 , P l a t t p r e s e n t e d h i s R e s o u r c e - A l l o c a t i n g N e t w o r k R A N . T h i s n e t w o r k

c o n s i s t s o f t w o l a y e r s : t h e r s t l a y e r i s c o m p o s e d o f n e u r o n s w i t h G a u s s i a n s a s t r a n s f e r

f u n c t i o n s , w h i l e t h e s e c o n d a g g r e g a t e s o u t p u t s t o g e n e r a t e t h e f u n c t i o n t h a t a p p r o x i -

m a t e s t h e i n p u t - o u t p u t m a p p i n g o v e r t h e e n t i r e s p a c e . T h e a l g o r i t h m a u t o m a t i c a l l y

s e t s t h e n u m b e r o f G a u s s i a n n e u r o n s a n d a d j u s t s t h e c e n t e r o f t h e G a u s s i a n f u n c t i o n s

b a s e d o n t h e e r r o r a t t h e o u t p u t . T h e r e s u l t i s a n a l g o r i t h m t h a t m e r g e s u n s u p e r v i s e d

a n d s u p e r v i s e d l e a r n i n g a n d l e a r n s m u c h f a s t e r t h a n t h e c o n v e n t i o n a l B a c k p r o p a g a t i o n

a l g o r i t h m .

M o r e r e c e n t l y , S c h a a l a n d A t k e s o n 1 8 0 p r e s e n t e d a n e x t e n s i o n o f t h e R A N n e t -

w o r k b a s e d o n n o n - p a r a m e t r i c s t a t i s t i c s , c a l l e d R e c e p t i v e F i e l d W e i g h t e d R e g r e s s i o n

R F W R . T h i s s y s t e m i s i n t e n d e d t o a c h i e v e r o b u s t i n c r e m e n t a l l e a r n i n g w i t h o u t c o m -

p e t i t i v e l e a r n i n g . T h e n e t w o r k a d a p t s t h e n u m b e r o f r e c e p t i v e l t e r s b a s e d o n a v i g i l a n c e




b)a)

W

P

y

x

y

x

P

W

F i g u r e 4 . 8 : a R e c e p t i v e e l d d e n e d b y a L 1 n o r m w h e r e d =

P

i

j P

i

, W

i

j a n d b b y a

L S U P n o r m w h e r e d = m a x

i

j P

i

, W

i

j .

~

W i s t h e r e f e r e n c e v e c t o r o f t h e r e c e p t i v e e l d a n d

~

P

i s a n i n p u t v e c t o r .

On/Off

Random Number

Pruning

Comparator

<

<Cluster

Input

WW

Weight Vector Threshold

Learning

T

Distance

calculation

Generator

Comparator

F i g u r e 4 . 9 : B l o c k D i a g r a m o f a F A S T n e u r o n . A F A S T n e u r o n c o n t a i n s a d i s t a n c e c a l c u l a t i o n

b l o c k M a n h a t t a n d i s t a n c e , a r e f e r e n c e v e c t o r a n d t h r e s h o l d a d a p t a t i o n b l o c k l e a r n i n g , a n d

a d e l e t i o n b l o c k p r u n i n g . T h e w e i g h t v e c t o r W a n d t h e t h r e s h o l d T d e t e r m i n e t h e s e n s i t i v i t y

r e g i o n o f t h e n e u r o n . A n o p e r a t i o n a l n e u r o n i s a c t i v a t e d i f t h e M a n h a t t a n d i s t a n c e b e t w e e n i t s

r e f e r e n c e v e c t o r a n d t h e c u r r e n t i n p u t v e c t o r i s l e s s t h a n t h e t h r e s h o l d , a n d m a y b e d e a c t i v a t e d

b y t h e p r u n i n g b l o c k .




0 . S t a r t w i t h t h e s e t o f p r o t o t y p e v e c t o r s P

0

= f g .

1 . P r e s e n t a n i n p u t p a t t e r n P a n d c o m p u t e D P ; W

j

f o r e v e r y o p -

e r a t i o n a l n e u r o n j . D P ; W

j

=

P

n

i = 1

j P

i

, W

j i

j .

2 . I f D P ; W

j

T

j

f o r a l l j , a c t i v a t e a n e w n e u r o n j

b y i n i t i a l i z i n g

i t s r e f e r e n c e v e c t o r t o W

j

= P , i t s t h r e s h o l d t o T

j

= T

i n i

, a n d

i t s d e a c t i v a t i o n p a r a m e t e r t o P r

j

= 1 .

3 . I f D P ; W

j

T

j

, w h e r e j i s a n a c t i v e n e u r o n , a n d T

j

i s i t s

t h r e s h o l d , u p d a t e W

j

a n d T

j

a s f o l l o w s :

W

j i

t + 1 = W

j i

t + T

j

P

i

, W

j i

t ,

T

j

t + 1 = T

j

t , T

j

t , T

m i n

,

w h e r e , , a n d T

m i n

a r e l e a r n i n g c o n s t a n t s . U p d a t e t h e g l o b a l

T

i n i

p a r a m e t e r t o T

i n i

= T

i n i

t + 1 , T

i n i

t , T

m i n

.

4 . I f s e v e r a l n e u r o n s a r e a c t i v a t e d i n s t e p 3 , d e a c t i v a t e o n e o f t h e

n e u r o n s i f r n d P r

j

, w h e r e P r

j

i s t h e d e a c t i v a t i o n p a r a m e t e r ,

a n d r n d i s a u n i f o r m l y d i s t r i b u t e d r a n d o m n u m b e r i n t h e r a n g e

0 ; 1 . I n c r e a s e t h e a c t i v a t e d n e u r o n s ' p r o b a b i l i t y o f d e a c t i v a t i o n

a s f o l l o w s : P r

j

t + 1 = P r

j

t , P r

j

t , P r

m i n

, w h e r e a n d

P r

m i n

a r e p r u n i n g c o n s t a n t s .

5 . G o t o s t e p 1 .

F i g u r e 4 . 1 0 : T h e i n n e r l o o p o f t h e F A S T l e a r n i n g a l g o r i t h m .




x

y

P

Tj

∆

Sensitivity region

Wj

Wj(t+1)

Wj(t)

F i g u r e 4 . 1 1 : F A S T l e a r n i n g . W h e n a n i n p u t v e c t o r p a t t e r n

~

P l i e s w i t h i n t h e s e n s i t i v i t y r e g i o n

o f n e u r o n j , i t a d a p t s i t s r e f e r e n c e v e c t o r

~

W

j

a n d i t s t h r e s h o l d v a l u e T

j

.

W

j i

t + 1 = W

j i

t + T

j

P

i

, W

j i

t ; 4 . 3

w h e r e i s a l e a r n i n g p a r a m e t e r i n t h e r a n g e 0 ; 1 F i g u r e 4 . 1 1 . I n o u r i m p l e -

m e n t a t i o n , t h e M a n h a t t a n d i s t a n c e D P ; W

j

i s u s e d a s a m e a s u r e o f s i m i l a r i t y

b e t w e e n t h e r e f e r e n c e v e c t o r s a n d t h e c u r r e n t n - d i m e n s i o n a l i n p u t :

D P ; W

j

=

n

X

i = 1

j P

i

, W

j i

j 4 . 4

T h i s d i s t a n c e g i v e s r i s e t o t h e d i a m o n d - s h a p e d s e n s i t i v i t y r e g i o n o f n e u r o n j s h o w n

i n F i g u r e 4 . 1 1 . T h e a c t i v a t i o n o f n e u r o n j a l s o e n t a i l s a n e x p o n e n t i a l d e c r e a s e i n

i t s t h r e s h o l d v a l u e :

T

j

t + 1 = T

j

t , T

j

t , T

m i n

; 4 . 5

w h e r e i s a g a i n p a r a m e t e r i n t h e r a n g e 0 ; 1 , a n d T

m i n

i s t h e m i n i m a l t h r e s h o l d .

T h i s t h r e s h o l d m o d i c a t i o n d e c r e a s e s t h e s i z e o f t h e s e n s i t i v i t y r e g i o n f o r n e u r o n s

i n h i g h - d e n s i t y r e g i o n s o f t h e v e c t o r s p a c e F i g u r e 4 . 1 2 .

2 . I n c r e m e n t a l g r o w t h . W h e n a n i n p u t v e c t o r P l i e s o u t s i d e t h e s e n s i t i v i t y r e g i o n s

o f a l l c u r r e n t l y o p e r a t i o n a l n e u r o n s , a n e w n e u r o n i s a d d e d F i g u r e 4 . 1 3 , w i t h

i t s r e f e r e n c e v e c t o r s e t t o P a n d i t s t h r e s h o l d s e t t o a n i n i t i a l v a l u e T

i n i

. T h e

v a l u e o f T

i n i

s h o u l d a l s o b e d e c r e a s e d i n o r d e r t o a v o i d h a v i n g s e n s i t i v i t y r e g i o n s

c o n t a i n e d w i t h i n o t h e r s e n s i t i v i t y r e g i o n s a f t e r s u c c e s s i v e d e a c t i v a t i o n - a c t i v a t i o n

p h a s e s , a s i t u a t i o n w h i c h c a u s e s i n s t a b i l i t y . T h e m e c h a n i s m w e i n t r o d u c e t o s o l v e

t h i s p r o b l e m c o n s i s t e d o n r a n d o m l y t a k i n g a T

j

a s t h e u p d a t e d v a l u e o f T

i n i

, s i n c e

s t a b i l i t y c a n b e g u a r a n t e e d s i m p l y b y m a i n t a i n i n g T

i n i

n e a r t h e T

j

m e a n .




Tini

Tj(t)

Tmin

t

F i g u r e 4 . 1 2 : E v o l u t i o n o f t h e t h r e s h o l d v a l u e i n t i m e .

T1

y

x

T1

y

x

T2=TiniW1 W1

W2 = PP

F i g u r e 4 . 1 3 : G r o w i n g i n F A S T . A n A R T - b a s e d g r o w i n g m e c h a n i s m a c t i v a t e s a n e w n e u r o n

w h e n a s u c i e n t l y d i e r e n t i n p u t

~

P i s f o u n d i . e , w h e n t h e d i s t a n c e b e t w e e n t h e i n p u t v e c t o r

a n d t h e r e f e r e n c e v e c t o r

~

W

i

i s l a r g e r t h a n i t s t h r e s h o l d T

i

.

3 . P r u n i n g . T h e n e t w o r k d e c r e a s e s i n s i z e i . e . o u t p u t n e u r o n s a r e d e l e t e d , t h r o u g h

a p r u n i n g p r o c e s s F i g u r e 4 . 1 4 . T h e p r o b a b i l i t y o f a n o p e r a t i o n a l n e u r o n b e i n g

d e l e t e d , P r

j

, i n c r e a s e s i n d i r e c t p r o p o r t i o n t o t h e o v e r l a p b e t w e e n i t s s e n s i t i v i t y

r e g i o n a n d t h e r e g i o n s o f i t s n e i g h b o r s . T h e o v e r l a p b e t w e e n t h e s e n s i t i v i t y r e g i o n s

o f s e v e r a l n e u r o n s i s e s t i m a t e d b y c o m p u t i n g t h e f r e q u e n c y o f a c t i v a t i o n o f t h e

o v e r l a p p i n g n e u r o n s w i t h t h e s a m e i n p u t v e c t o r . T h e r e f o r e , t h e d e l e t i o n p r o b a b i l i t y

o f a n e u r o n i n c r e a s e s l i n e a r l y t o w a r d s a m a x i m u m 1 , P r

m i n

e v e r y t i m e a n i n p u t

v e c t o r a c t i v a t e s t w o o r m o r e n e u r o n s :

P r

j

t + 1 = P r

j

t , P r

j

t , P r

m i n

; 4 . 6

w h e r e i s a c o n s t a n t t h a t d e t e r m i n e s t h e d e c a y o f t h e p r o b a b i l i t y p a r a m e t e r P r

j

.

O n c e a d e l e t i o n h a s o c c u r r e d t h e p r o b a b i l i t y P r

j

o f t h e u n i t s i n v o l v e d i s r e s e t .

4 . 5 . 3 F A S T d y n a m i c s

I n t h e l a s t s e c t i o n w e h a v e d e s c r i b e d t h e l e a r n i n g , g r o w i n g , a n d p r u n i n g m e c h a n i s m s

o f F A S T . T h i s s e c t i o n p r o v i d e s a d e s c r i p t i o n o f t h e F A S T c l u s t e r i n g m e c h a n i s m s , a n d




y

x

y

x

W1W1

P

F i g u r e 4 . 1 4 : P r u n i n g i n F A S T . T h e p r u n i n g m e c h a n i s m d e a c t i v a t e s a n e u r o n t h e d a s h e d

r h o m b u s w i t h a c e r t a i n p r o b a b i l i t y a c c o r d i n g t o t h e o v e r l a p p i n g o f t h e s e n s i b i l i t y r e g i o n s o f

t h e n e u r o n s i . e . , t h e r h o m b i .

p a r t i c u l a r l y o f t h e i r d y n a m i c s .

A l t h o u g h m a n y o t h e r c l u s t e r i n g a l g o r i t h m s d o e x i s t , t h e y g e n e r a l l y n e e d t o a c c e s s

t h e e n t i r e d a t a b a s e t o d e t e r m i n e t h e c l u s t e r c e n t e r s b y s t a t i s t i c a l m e a n s . F A S T d y n a m -

i c a l l y a d a p t s t h e c e n t e r s a n d s i z e s o f t h e r e c e p t i v e e l d s . N e v e r t h e l e s s , i t r e m a i n s q u i t e

s e n s i t i v e t o t h e o r d e r o f p r e s e n t a t i o n o f t h e i n p u t v e c t o r p a t t e r n s .

T o f u r t h e r d e s c r i b e t h e d y n a m i c s o f t h e l e a r n i n g a l g o r i t h m , l e t u s b e g i n b y n o t i n g

t h a t w e d i d n o t m e n t i o n a w i n n e r - t a k e - a l l o p e r a t o r i n t h e l a s t s e c t i o n . I n d e e d , t h i s

a l g o r i t h m a l l o w s a n e u r o n t o a d a p t i t s r e f e r e n c e v e c t o r i f i t i s s u c i e n t l y s i m i l a r t o

t h e i n p u t v e c t o r p a t t e r n i . e . , t h e i n p u t p a t t e r n l i e s w i t h i n t h e c o r r e s p o n d i n g s e n s i t i v i t y

r e g i o n e v e n i f i t i s n o t n e c e s s a r i l y t h e n e a r e s t n e u r o n . I n F i g u r e 4 . 1 5 w e s h o w h o w a

s i n g l e i n p u t v e c t o r m a y f o r c e t h e a d a p t a t i o n o f t w o d i e r e n t n e u r o n s .

y

x

y

x

F i g u r e 4 . 1 5 : F A S T n e u r o n s a d a p t a t i o n .

T h i s p r o c e s s d o e s n o t i n t e r f e r e w i t h t h e c o m p e t i t i v e l e a r n i n g p r i n c i p l e s , s i n c e t h e

o b j e c t i v e r e m a i n s a d e n s i t y - b a s e d c l u s t e r i n g . H o w e v e r , a p r o b l e m m a y a p p e a r w h e n

d e p e n d i n g o n t h e o r d e r o f p r e s e n t a t i o n o f t h e i n p u t p a t t e r n s , t w o o r m o r e d i e r e n t

n e u r o n s m a y o v e r l a p t o o m u c h w h i c h i s a l s o p o s s i b l e w i t h o t h e r a l g o r i t h m s t h a t u s e

a w i n n e r - t a k e - a l l o p e r a t o r 1 8 0 . T h e p r u n i n g m e c h a n i s m b r i e y d e s c r i b e d i n l a s t

s e c t i o n i s a n a t t e m p t t o s o l v e t h i s p r o b l e m b y d e a c t i v a t i n g p r o b a b i l i s t i c a l l y o n e o f t h e

n e u r o n s w h e n m u l t i p l e o v e r l a p p i n g s e n s i t i v i t y r e g i o n s a r e d e t e c t e d .




E x a m p l e o f F A S T d y n a m i c c l u s t e r i n g

T o i l l u s t r a t e a t y p i c a l c a s e o f l e a r n i n g , g r o w i n g , a n d p r u n i n g , l e t u s s u p p o s e t h a t w e

h a v e a s i n g l e c l u s t e r o f p o i n t s l i k e t h e o n e i n F i g u r e 4 . 1 6 a . A t t h e o u t s e t , t h e r e a r e n o

n e u r o n s a c t i v a t e d i n t h e n e t w o r k . W h e n a r s t i n p u t v e c t o r o f t h e c l u s t e r i s p r e s e n t e d

t o t h e n e t w o r k , a r s t n e u r o n i s a c t i v a t e d b y s e t t i n g i t s r e f e r e n c e v e c t o r W

j

e q u a l t o

t h e i n p u t v e c t o r p a t t e r n p

1

. A f t e r o t h e r i n p u t p a t t e r n s p

0

; p

2

; p

3

, o r p

9

a r e r a n d o m l y

p r e s e n t e d , t h e r e f e r e n c e v e c t o r W

j

i . e . , t h e c e n t e r o f t h e c l u s t e r w i l l a p p r o x i m a t e l y

c o r r e s p o n d t o t h e c e n t e r o f t h e p r e s e n t e d c l u s t e r o f p o i n t s a c c o r d i n g t o t h e i r d e n s i t y

F i g u r e 4 . 1 6 b . I f , o c c a s i o n a l l y , o n e o f t h e p a t t e r n s p

4

; p

5

; p

6

, o r p

7

i s p r e s e n t e d t o t h e

n e t w o r k , a n e w n e u r o n i s a c t i v a t e d a s s h o w n i n F i g u r e 4 . 1 6 c , w h i c h a d a p t s i t s c e n t e r

a s i f t h e l e f t p o i n t s p

4

; p

5

; p

6

; p

7

, a n d p

8

c o n s t i t u t e s a s e p a r a t e d c l u s t e r . H o w e v e r , e v e r y

t i m e o n e o f t h e s h a r e d i n p u t v e c t o r p a t t e r n s p

3

; p

4

; p

8

, o r p

9

i s p r e s e n t e d t o t h e n e t w o r k ,

t h e p r o b a b i l i t y o f d e a c t i v a t i n g o n e o f t h e t w o n e u r o n s i n c r e a s e s a n d w i l l p o s s i b l y l e a v e

a s i n g l e n e u r o n c o v e r i n g t h e e n t i r e c l u s t e r F i g u r e 4 . 1 6 d .

T h e o r d e r o f p r e s e n t a t i o n o f t h e p a t t e r n s i s t h u s v e r y c r u c i a l . A n o t h e r t y p i c a l

c a s e i s t h e f o l l o w i n g : s u p p o s e t h a t t h e p r o b a b i l i s t i c p r u n i n g d e a c t i v a t e s t h e n e u r o n t o

t h e r i g h t i n F i g u r e 4 . 1 6 c , a n d t h a t o n e o f t h e i n p u t p a t t e r n s p

4

; p

5

; p

6

, o r p

7

i s t h e n

p r e s e n t e d t o t h e n e t w o r k . T h e a l g o r i t h m w i l l r e - a c t i v a t e a n e w s e c o n d n e u r o n , a n d t h e

c l u s t e r i n g w i l l b e s i m i l a r t o w h a t i t w a s b e f o r e t h e p r u n i n g . I n c e r t a i n t a s k s w h e r e t h e

d e n s i t y d i s t r i b u t i o n s o f t h e i n p u t p a t t e r n s i s v a r i a b l e , F A S T c a n p r o v i d e a n a p p r o x i m a t e

c l u s t e r i n g s o l u t i o n . T h i s w i l l b e d e s c r i b e d i n m o r e d e t a i l i n C h a p t e r 6 .

F a u l t - t o l e r a n c e

A n i n c r e m e n t a l l e a r n i n g a l g o r i t h m l i k e t h e o n e i m p l e m e n t e d b y F A S T i s i n h e r e n t l y f a u l t -

t o l e r a n t , a t l e a s t i f s u c i e n t u n i t s a r e a v a i l a b l e . T o i l l u s t r a t e t h i s f a c t , i n F i g u r e 4 . 1 7 a w e

p r e s e n t t h r e e F A S T n e u r o n s a s s o c i a t e d t o t h r e e s e p a r a t e c l u s t e r s o f i n p u t v e c t o r p o i n t s .

I f w e s u p p o s e t h a t a f a u l t o c c u r s i n n e u r o n 2 a n d t h a t a f a u l t - d e t e c t i o n m e c h a n i s m i s

a b l e t o i s o l a t e t h e n e u r o n f r o m t h e s y s t e m i . e . , b y u s i n g a n e m b r y o n i c s u b s t r a t e 1 2 9 ,

w h e n o n e o f t h e i n p u t v e c t o r p a t t e r n s o f c l u s t e r 2 f o r e x a m p l e v e c t o r ~ a i s p r e s e n t e d ,

a n e w n e u r o n i . e . , n e u r o n 4 i n F i g u r e 4 . 1 7 b i s a c t i v a t e d f o r t h a t g i v e n c l u s t e r a n d

l e a r n i n g c o n t i n u e s a s a l r e a d y d e s c r i b e d .

4 . 5 . 4 F A S T d i g i t a l i m p l e m e n t a t i o n

R e c e n t a d v a n c e s i n s e m i c o n d u c t o r d e v i c e s h a v e e n a b l e d u s t o u s e p r o g r a m m a b l e h a r d -

w a r e d e v i c e s s u c h a s F i e l d - P r o g r a m m a b l e G a t e A r r a y s F P G A 2 1 2 a n d F i e l d - P r o g r a m -

m a b l e I n t e r c o n n e c t i o n C i r c u i t s F P I C 9 4 w h i c h a l l o w u s e r s t o r e c o n g u r e t h e i r i n t e r -

n a l c i r c u i t c o n n e c t i o n s a n d n o d e l o g i c f u n c t i o n a l i t i e s C h a p t e r 3 . S u c h d e v i c e s a o r d

r a p i d p r o t o t y p i n g a n d r e l a t i v e l y i n e x p e n s i v e n e u r a l n e t w o r k i m p l e m e n t a t i o n s . T h e r e -

p r o g r a m m a b i l i t y o f e l d - p r o g r a m m a b l e h a r d w a r e d e v i c e s e n a b l e s t h e i m p l e m e n t a t i o n o f

a r t i c i a l n e u r a l n e t w o r k s w i t h i n - c i r c u i t s t r u c t u r e a d a p t a t i o n .

O u r r s t p r o t o t y p e o f t h e F A S T n e u r a l n e t w o r k a r c h i t e c t u r e w a s i m p l e m e n t e d o n

a c u s t o m m a c h i n e c a l l e d L O P I O M F i g u r e 4 . 1 8 , d e s i g n e d i n o u r l a b o r a t o r y a n d b a s e d

o n p r o g r a m m a b l e l o g i c 1 4 7 . I t i s c o m p o s e d o f a 6 8 3 3 1 m i c r o c o n t r o l l e r , f o u r X i l i n x




b)

a

a)

1

2

3

1

4

3

F i g u r e 4 . 1 7 : F a u l t - t o l e r a n c e i n F A S T .

X C 4 0 1 3 - 6 F P G A c h i p s e a c h w i t h a p p r o x i m a t e l y 1 3 , 0 0 0 e q u i v a l e n t g a t e s 2 3 7 , a n d f o u r

F P I D F i e l d P r o g r a m m a b l e I n t e r c o n n e c t i o n D e v i c e s c h i p s C r o s s b a r s w i t c h e s I - C u b e

3 2 0 , e a c h w i t h 3 2 0 p r o g r a m m a b l e p a d s 9 4 . W e u s e d t w o o f t h e X i l i n x X C 4 0 1 3 F P G A s

a n d t w o o f t h e I - C u b e 3 2 0 F P I D s t o i m p l e m e n t f o u r F A S T n e u r o n s . T h e s e q u e n c e r o f

t h e n e t w o r k w a s i m p l e m e n t e d i n o n e o f t h e X i l i n x X C 4 0 1 3 c h i p s a l o n g w i t h t w o o f t h e

F A S T n e u r o n s . T h e o t h e r t w o F A S T n e u r o n s a r e i m p l e m e n t e d i n t h e s e c o n d X C 4 0 1 3

c h i p a l o n g w i t h a b a n k o f I O m a p p i n g r e g i s t e r s .

T o d a t e , t w o s u c h F A S T n e t w o r k s h a v e b e e n i m p l e m e n t e d : o n e f o r t w o - d i m e n s i o n a l

i n p u t v e c t o r s a n d a n o t h e r f o r t h r e e - d i m e n s i o n a l i n p u t v e c t o r s . I n b o t h i m p l e m e n t a t i o n s

w e u s e d 9 6 t o 9 8 o f t h e C o n g u r a b l e L o g i c B l o c k s C L B s o f t h e c h i p . H o w e v e r , o n l y

6 6 t o 7 9 o f t h e C L B s w e r e a c t u a l l y u s e d t o i m p l e m e n t l o g i c c i r c u i t s , w h i l e t h e r e s t

w e r e u s e d f o r r o u t i n g . I n t h e 2 D - i n p u t n e t w o r k w e u s e d 3 0 o f t h e i p - o p s , w h i l e t h e

3 D - i n p u t r e q u i r e d u p t o 3 5 o f t h e m e m o r y e l e m e n t s . T h e s e q u e n c e r , t h e F A S T n e u r o n

a r c h i t e c t u r e , a n d t h e I O m a p p i n g r e g i s t e r b a n k w i l l b e b r i e y d e s c r i b e d b e l o w .

T h e F a s t n e u r o n

A F A S T n e u r o n i s c o m p o s e d o f t h r e e b l o c k s : M a n h a t t a n d i s t a n c e c o m p u t a t i o n ,

l e a r n i n g i . e . , m o d i c a t i o n o f r e f e r e n c e v e c t o r s a n d t h r e s h o l d s , a n d p r u n i n g F i g -

u r e 4 . 1 9 . T h e s y s t e m c u r r e n t l y s u p p o r t s 8 - b i t c o m p u t a t i o n . E a c h n e u r o n i n c l u d e s

n i n e 8 - b i t a d d e r s i n t h e 2 D c a s e a n d t w e l v e 8 - b i t a d d e r s i n t h e 3 D c a s e , a n d a s i n g l e

8 - b i t s h i f t - a d d m u l t i p l i e r , s o t h a t a d d i t i o n s o c c u r i n p a r a l l e l b u t t h e m u l t i p l i c a t i o n s

i n v o l v e d i n t h e l e a r n i n g p h a s e a r e e x e c u t e d s e q u e n t i a l l y . T h e m a x i m a l n u m b e r o f

m u l t i p l i c a t i o n s d u r i n g t h e l e a r n i n g p h a s e i s v e f o r t h e 2 D c a s e a n d s i x f o r t h e 3 D

c a s e , a n d e a c h r e q u i r e s 8 c l o c k c y c l e s .

T o i m p l e m e n t t h e p r u n i n g p r o c e s s , e a c h n e u r o n i n c l u d e s a r a n d o m n u m b e r

g e n e r a t o r F i g u r e 4 . 2 0 , c o n s i s t i n g o f a n 8 - c e l l h e t e r o g e n e o u s , o n e - d i m e n s i o n a l

c e l l u l a r a u t o m a t o n 9 0 , 9 1 . I t h a s a l e n g t h c y c l e o f 2 5 5 a n d i s i m p l e m e n t e d u s i n g

a s m a l l n u m b e r o f c o m p o n e n t s : 8 D i p - o p s , 5 t w o - i n p u t X O R g a t e s , a n d 3

t h r e e - i n p u t X O R g a t e s . E a c h c e l l i m p l e m e n t s o n e o f t w o p o s s i b l e w a y s : t h e n e x t

s t a t e o f t h e c u r r e n t c e l l i s a n X O R f u n c t i o n o f t h e t w o n e i g h b o r c e l l s r u l e 9 0

a c c o r d i n g t o W o l f r a m ' s s c h e m e o f c l a s s i c a t i o n o f c e l l u l a r a u t o m a t a r u l e s 2 3 6




FPGA

XC4013

FPGA

XC4013 XC4013

XC4013

FPGA

FPGA

FPIC

FPIC

FPIC

FPIC

Microcontroller

68331

rs232

VME bus

F i g u r e 4 . 1 8 : L o p i o m b o a r d a r c h i t e c t u r e 1 4 7 .

T

LR

Tini

Prmin

A < T

Tmin

-

0 01 1

(1) Distance calculation (3) Pruning(2) Learning

ABS

Py-Wy

Px-Wx

Px-Wx Py-Wy

WyWx

+

Px

P

16

88

Pi - WiΣ

LrT

A=

RNDPr

rnd > Pr

8

+

+

LrT(Py-Wy)

LrT(Px-Wx)

+

GammaT-Tmin

G(T-Tmin)

-

+

Eta

Pr

n(Pr-Prmin)

Pr=Pr+n(Pr-Prmin)

T=T+G(T-Tmin)

Prmin 1

Wy=Wy+LrT(Py-Wy)

PyWx=Wx+LrT(Px-Wx)

Wy

Wx

Pr-Prmin

ABS

F i g u r e 4 . 1 9 : A r c h i t e c t u r e o f a 2 D - I n p u t F A S T n e u r o n . T h e r s t b l o c k i m p l e m e n t s t h e M a n -

h a t t a n d i s t a n c e c a l c u l a t i o n w i t h 3 a d d e r s . A c o m p a r a t o r i s u s e d t o d e t e r m i n e t h e a c t i v a t i o n o f

t h e n e u r o n . T h e s e c o n d b l o c k c o n t a i n s f o u r a d d e r s a n d a s i n g l e s e r i a l m u l t i p l i e r f o r t h e r e f e r e n c e

v e c t o r a n d t h r e s h o l d a d a p t a t i o n . T h e p r u n i n g b l o c k u s e s t h e s a m e m u l t i p l i e r o f t h e l e a r n i n g

b l o c k a n d c o n t a i n s t w o a d d i t i o n a l a d d e r s , a r a n d o m n u m b e r g e n e r a t o r , a n d a c o m p a r a t o r .




Qn-1

clk

Qn+1

Qn

QnD

clk

QnDQn+1

Qn-1

150 150150150150 909090

F i g u r e 4 . 2 0 : R a n d o m n u m b e r g e n e r a t o r b a s e d o n a 1 D h e t e r o g e n e o u s c e l l u l a r a u t o m a t o n .

o r t h e n e x t s t a t e o f t h e c u r r e n t c e l l i s a n X O R f u n c t i o n o f t h e t w o n e i g h b o r c e l l s

a n d i t s c u r r e n t s t a t e r u l e 1 5 0 a c c o r d i n g t o W o l f r a m ' s s c h e m e o f c l a s s i c a t i o n o f

c e l l u l a r a u t o m a t a r u l e s 2 3 6 . D u r i n g s t a r t u p o f t h e s y s t e m , t h e r a n d o m n u m b e r

g e n e r a t o r i s s e t t o 1 1 1 1 1 1 1 1 . F i n a l l y , e a c h n e u r o n m a i n t a i n s a n a c t i v a t i o n

r e g i s t e r t h a t i n d i c a t e s w h e t h e r i t i s a c t i v e o r n o t .

T h e s e q u e n c e r

T h e s e q u e n c e r i s a n i t e s t a t e m a c h i n e F S M w h i c h h a n d l e s t h e a d d i t i o n a n d d e l e -

t i o n o f n e u r o n a l u n i t s i n t h e o u t p u t l a y e r a n d s y n c h r o n i z e s t h e n e u r o n ' s o p e r a t i o n

d u r i n g M a n h a t t a n d i s t a n c e c a l c u l a t i o n s , w e i g h t a n d t h r e s h o l d u p d a t e s l e a r n i n g ,

a n d p r o b a b i l i s t i c u n i t d e a c t i v a t i o n p r u n i n g .

I O m a p p i n g r e g i s t e r b a n k

T h e h a r d w a r e d e v i c e i s c o n n e c t e d t o a h o s t c o m p u t e r w h i c h i s u s e d t o g e n e r a t e

i n p u t v e c t o r s f o r t h e s y s t e m a n d t o d i s p l a y i t s o u t p u t s . T h e h o s t c o m p u t e r c o m m u -

n i c a t e s s e r i a l l y w i t h t h e 6 8 3 3 1 m i c r o c o n t r o l l e r t h a t r e a d s a n d w r i t e s s i g n a l s f r o m

a n d t o t h e I O m a p p i n g r e g i s t e r s . T h e I O m a p p i n g r e g i s t e r b a n k c o n s i s t s o f t e n

8 - b i t r e g i s t e r s u s e d t o m a p e v e r y i n p u t a n d o u t p u t o f t h e n e u r a l n e t w o r k . A p o l l i n g

s u b r o u t i n e r u n s o n t h e 6 8 3 3 1 m i c r o c o n t r o l l e r i n o r d e r t o g e n e r a t e t h e r e a d w r i t e

c o n t r o l s i g n a l s a n d t o r e c e i v e o r s e n d d a t a w h e n t h e h o s t c o m p u t e r r e q u e s t s i t . A

V M E b u s c o n n e c t i o n i s a l s o a v a i l a b l e o n t h e b o a r d , b u t i t h a s n o t b e e n t e s t e d t o

d a t e .

I t s h o u l d b e n o t e d t h a t t h e p r o c e s s o f p a r t i t i o n , p l a c e m e n t , a n d r o u t i n g i n t h e

d e s i g n o w o f F P G A d e v i c e s i s n o t d e t e r m i n i s t i c , a n d t h u s t h e p e r f o r m a n c e a n d a r e a

r e q u i r e m e n t s o f a g i v e n d e s i g n m a y c h a n g e b e t w e e n d i e r e n t r u n s . I n t h e f o l l o w i n g , w e

p r e s e n t t h e p e r f o r m a n c e a n d a r e a r e s u l t s o f a t y p i c a l r u n o f o u r s y s t e m .

T h e m a x i m a l X C 4 0 1 3 - 6 ' s p i n - t o - p i n d e l a y o f t h e 2 D - i n p u t F A S T n e t w o r k i s a r o u n d

1 2 0 n s , a n d t h e I - C U B E ' s p i n - t o - p i n d e l a y i s 1 2 n s . T h e p r o c e s s i n g t i m e p e r i n p u t v e c t o r

i s u p t o 5 7 c l o c k c y c l e s d e p e n d i n g o n t h e n u m b e r o f m u l t i p l i c a t i o n s d u r i n g l e a r n i n g

F i g u r e 4 . 2 1 , t h u s e n a b l i n g t h e i n t r o d u c t i o n o f a n e w i n p u t v e c t o r a p p r o x i m a t e l y e v e r y

7 . 5 s . F o r t h e 3 D - i n p u t c a s e , t h e m a x i m a l p i n - t o - p i n d e l a y i n t h e X C 4 0 1 3 - 6 ' s i s a r o u n d




dx = Px-Wx

dy = Py-Wy

Wx=Wx+LrT(Px-Wx)

Wy=Wy+LrT(Py-Wy)

dx*C dy*C G*dtC = T*Lr n*dPr

LEARN

dt = T - Tmin T = T-G(T-Tmin)

dPr = Pr - Prmin Pr = Pr-n(Pr-Prmin)

UPDATE Wx UPDATE Wy UPDATE T UPDATE Pr

F i g u r e 4 . 2 1 : T i m i n g s e q u e n c e o f o p e r a t i o n s i n a 2 D i n p u t F A S T n e t w o r k . A s i n g l e m u l t i p l i e r

i s t i m e m u l t i p l e x e d d u r i n g t h e l e a r n i n g p h a s e . T h e n a m e s o f t h e o p e r a n d s c o r r e s p o n d t o t h o s e

o f F i g u r e 4 . 1 9 .

1 7 3 n s a n d a m a x i m u m o f 6 6 c l o c k c y c l e s i s n e e d e d f o r a l e a r n i n g s t e p , t h u s e n a b l i n g

t h e i n t r o d u c t i o n o f a n e w i n p u t v e c t o r a p p r o x i m a t e l y e v e r y 8 . 2 s . S e e F i g u r e 4 . 2 1 f o r

t h e d e t a i l s o n t h e s e q u e n c e o f o p e r a t i o n s d u r i n g t h e F A S T p r o c e s s i n g o f a n i n p u t v e c t o r .

O u r t e s t s u s e d a s l o w e r i n p u t r a t e d u e t o t h e s e r i a l l i n k , b u t f u t u r e a p p l i c a t i o n s w i l l

e x p l o i t f a s t e r i n t e r f a c e s .

4 . 5 . 5 R e s u l t s a n d a p p l i c a t i o n s

U n s u p e r v i s e d n e u r a l n e t w o r k s h a v e b e e n w i d e l y u s e d i n c l u s t e r i n g t a s k s , f e a t u r e e x t r a c -

t i o n , d a t a d i m e n s i o n a l i t y r e d u c t i o n , d a t a m i n i n g d a t a o r g a n i z a t i o n f o r e x p l o r i n g a n d

s e a r c h , i n f o r m a t i o n e x t r a c t i o n , d e n s i t y a p p r o x i m a t i o n , d a t a c o m p r e s s i o n , e t c .

T o e v a l u a t e F A S T , t w o d i e r e n t a p p l i c a t i o n s w e r e c h o s e n : 1 a c o l o r i m a g e s e g m e n -

t a t i o n p r o b l e m , a n d 2 t h e i n v e r t e d p e n d u l u m p r o b l e m . T h e r s t a p p l i c a t i o n e v a l u a t e s

t h e c l u s t e r i n g p r o p e r t i e s o f t h e a l g o r i t h m , a l l o w s a c o m p a r i s o n w i t h a f u z z y K o h o n e n

c l u s t e r i n g a l g o r i t h m , a n d a l l o w s t h e t e s t o f t h e h a r d w a r e i m p l e m e n t a t i o n . F u r t h e r m o r e ,

i t e v a l u a t e s t h e r e a l - t i m e l e a r n i n g a n d s i z e a d a p t a t i o n p o t e n t i a l o f t h e n e t w o r k . T h e

i n v e r t e d p e n d u l u m p r o b l e m e v a l u a t e s t h e o n - l i n e l e a r n i n g c a p a b i l i t i e s o f t h e a l g o r i t h m

a s w e l l a s i t s c l u s t e r i n g a b i l i t y . I n t h i s s e c o n d a p p l i c a t i o n , o u r s y s t e m d e m o n s t r a t e s a

f a s t e r a p p r o a c h t o s o l v i n g a n o n - t r i v i a l c o n t r o l t a s k . A d e t a i l e d d e s c r i p t i o n o f t h e s e c o n d

a p p l i c a t i o n a n d a n e x t e n s i o n o f t h e a r c h i t e c t u r e a r e p r e s e n t e d i n t h e n e x t c h a p t e r s .

4 . 5 . 5 . 1 C o l o r i m a g e s e g m e n t a t i o n

T h e F A S T a l g o r i t h m h a s b e e n a p p l i e d t o a c o l o r l e a r n i n g p r o b l e m . G i v e n a d i g i t a l

i m a g e f r o m a r e a l s c e n e , t h e p r o b l e m i s t o c l u s t e r i m a g e p i x e l s b y c h r o m a t i c s i m i l a r i t y

p r o p e r t i e s . P i x e l s o f s i m i l a r c o l o r b e l o n g t o a s o - c a l l e d c h r o m a t i c c l a s s . B y i d e n t i f y i n g

c h r o m a t i c c l a s s e s i n a n i m a g e a n d a s s i g n i n g a c o d e t o e a c h c l a s s , w e c a n p e r f o r m c o l o r

i m a g e s e g m e n t a t i o n . F o r e x a m p l e , a n o r a n g e s p h e r e w i t h s m a l l b u m p s o n i t s s u r f a c e c a n

b e q u i c k l y r e c o g n i z e d a s a n o r a n g e f r u i t .

S o m e o f t h e p r o b l e m s a r i s i n g w i t h t h e u s e o f c o l o r r e q u i r e t h a t a p r o p e r c o l o r

r e p r e s e n t a t i o n , a m e n a b l e t o c o m p u t a t i o n , b e d e t e r m i n e d . I n o u r e x p e r i m e n t s w e c o n s i d e r




0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

I3

I2

0

0 . 1

0 . 2

0 . 3

0 . 4

0 . 5

0 . 6

0 . 7

0 . 8

0 . 9

1

0

5 0 0

1 0 0 0

1 5 0 0

2 0 0 0

2 5 0 0

3 0 0 0

3 5 0 0

4 0 0 0

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

100

200

300

400

500

600

700

F i g u r e 4 . 2 2 : D i s t r i b u t i o n o f a n i m a g e ' s c h r o m a t i c d a t a i n I 2 - I 3 s p a c e b o t t o m r i g h t a n d t h e

c o r r e s p o n d i n g c h r o m a t i c c o o r d i n a t e h i s t o g r a m s , i . e . , t h e f r e q u e n c y d i s t r i b u t i o n o f t h e d a t a ,

a l o n g t h e I 2 u p p e r r i g h t a n d I 3 b o t t o m l e f t a x e s .

t h e R G B r e d , g r e e n , b l u e c o m p o n e n t s o f a c o l o r i m a g e . T h u s , a t t h e o u t s e t , e v e r y

p i x e l i s r e p r e s e n t e d i n a 3 D s p a c e . T h e n , a c o l o r - s p a c e t r a n s f o r m a t i o n i s a p p l i e d s o a s

t o r e p r e s e n t t h e p i x e l s i n a 2 D s p a c e c a l l e d I 2 - I 3 1 4 9 . T h i s 2 D s p a c e i s m o r e s u i t a b l e

f o r c o l o r r e p r e s e n t a t i o n t h a n t h e R G B s y s t e m b e c a u s e i n t h e l a t t e r , a l l t h r e e v a r i a b l e s

a r e d e p e n d e n t o n t h e l i g h t i n t e n s i t y . C o o r d i n a t e s i n t h e I 2 - I 3 s y s t e m a p p e a r t o b e m o r e

c o r r e l a t e d t h a n i n t h e R G B s y s t e m 2 6 , 1 2 0 .

T h e t r a n s f o r m a t i o n i s a s f o l l o w s :

I 2 = R , B 4 . 7

I 3 = G , 0 : 5 R + B 4 . 8

T h e s e b i - d i m e n s i o n a l p i x e l c o o r d i n a t e s I 2 , I 3 a r e r a n d o m l y p r e s e n t e d t o t h e F A S T

n e u r a l n e t w o r k , w h i c h d e t e r m i n e s c l u s t e r s i n t h e I 2 - I 3 s p a c e , c o r r e s p o n d i n g t o c o l o r

c l u s t e r s i n t h e R G B s p a c e . T h e r e s u l t i n g c o l o r c l u s t e r s c a n t h e n b e u s e d t o c o n s t r u c t a

s e g m e n t e d i m a g e f r o m t h e o r i g i n a l i m a g e f o r a n a l y s i s .

P e r f o r m a n c e g a i n . A s h a v e b e e n s h o w n , f o r a p a r t i c u l a r p a r t i t i o n - p l a c e m e n t -

r o u t i n g r u n , o u r s y s t e m i s a b l e t o h a n d l e t h e i n t r o d u c t i o n o f a n e w i n p u t v e c t o r

a p p r o x i m a t e l y e v e r y 8 . 2 s .




0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

I2

I 3

F i g u r e 4 . 2 3 : R e s u l t i n g I 2 - I 3 c h r o m a t i c c l u s t e r s . T h e d i a m o n d - s h a p e d r e g i o n s r e p r e s e n t c l u s t e r s

i n t h e I 2 - I 3 s p a c e c o r r e s p o n d i n g t o c o l o r c l u s t e r s i n t h e i m a g e , a n d t h e c i r c l e s r e p r e s e n t t h e

c e n t e r s o f t h e c l u s t e r s .

I n 1 2 0 , n e u r a l a n d s t a t i s t i c a l m e t h o d s f o r a d a p t i v e c o l o r s e g m e n t a t i o n w e r e c o m -

p a r e d . I n t h e s e t e s t s , a s e t o f 4 0 0 x 4 0 0 p i x e l i m a g e s w e r e u s e d , a n d a m a x i m u m

o f 3 0 c l a s s e s w e r e a l l o w e d . T h e p r o c e s s i n g o f o n e o f s u c h i m a g e r u n n i n g o n a n

I B M R I S C 3 5 0 s t a t i o n t o o k 3 0 s e c o n d s . I f a n e x t e n s i o n o f o u r 3 D - i n p u t s y s t e m

w e r e u s e d f o r c l u s t e r i n g d i r e c t l y i n R G B s p a c e w i t h t h e s e i m a g e s , i t w o u l d t a k e

2 x 8 . 2 s x 4 0 0 x 4 0 0 = 2 . 6 2 s e c o n d s o n e p h a s e i s n e e d e d f o r c l u s t e r i n g a n d a s e c o n d

p h a s e t o g e n e r a t e t h e s e g m e n t e d i m a g e : o u r s y s t e m i s a b o u t o n e o r d e r o f m a g -

n i t u d e f a s t e r . O n e p o s s i b l e e x t e n s i o n i s t o u s e d e n s e r X i l i n x d e v i c e s , s u c h a s t h e

X C 4 0 3 6 d e v i c e s , r a t h e r t h a n t h e o l d e r X C 4 0 1 3 d e v i c e s w e h a v e b e e n u s i n g u n t i l

n o w .

T e s t 1 . T h e h a r d w a r e i m p l e m e n t a t i o n w a s t e s t e d w i t h t h e I 2 - I 3 p o i n t s s h o w n

i n g u r e 4 . 2 2 , w h i c h c o r r e s p o n d t o a n i m a g e o f 4 4 5 x 4 9 4 p i x e l s t h e h i s t o g r a m s

i n F i g 4 . 2 2 s h o w t h e i r d e n s i t y d i s t r i b u t i o n , b u t t h e l a c k o f s u c i e n t n e u r o n s h a s

l e d t o p o o r r e s u l t s . W e t h e r e f o r e p r e s e n t b e l o w t h e r e s u l t s o f a l a r g e r , s i m u l a t e d

s y s t e m . F i g u r e 4 . 2 3 s h o w s e i g h t d i a m o n d - s h a p e d c h r o m a t i c c l u s t e r s i d e n t i e d b y

t h e n e t w o r k a f t e r p r e s e n t a t i o n o f s e v e r a l h u n d r e d i n p u t v e c t o r s . W e h a v e c o m p a r e d

t h e s e r e s u l t s w i t h t h e r e f e r e n c e v e c t o r s o b t a i n e d b y a n o t h e r n e u r a l n e t w o r k l e a r n i n g

a l g o r i t h m w h i c h c o m b i n e s t h e t h r e s h o l d i n g i n I 2 - I 3 s p a c e a n d t h e f u z z y K o h o n e n

c l u s t e r i n g a p p r o a c h 2 6 . T h i s l a t t e r a l g o r i t h m g e n e r a t e s e i g h t e l l i p s o i d a l c h r o m a t i c

c l u s t e r s , a f t e r p r e s e n t i n g a l l t h e i m a g e s ' c o l o r i n f o r m a t i o n i n t h e I 2 - I 3 s p a c e , w h i l e

o u r a l g o r i t h m d e t e r m i n e s c l u s t e r s i n a d y n a m i c m a n n e r . F u r t h e r m o r e , w e f o u n d

t h a t t h e e i g h t c h r o m a t i c c l u s t e r s o b t a i n e d b y F A S T a r e a g o o d e s t i m a t i o n o f t h o s e

o b t a i n e d b y t h e n o n - d y n a m i c m o d e l , i . e . , t h e e i g h t F A S T c l u s t e r s l i e v e r y c l o s e t o

t h e t h r e s h o l d i n g - f u z z y K o h o n e n c l u s t e r s .

T e s t 2 . A s e c o n d e x p e r i m e n t w a s i s s u e d t o t e s t t h e h a r d w a r e i m p l e m e n t a t i o n .

W e c o n s i d e r e d a 2 9 4 x 3 5 3 p i x e l s , 6 1 - c o l o r i m a g e o f V a n G o g h ' s S u n o w e r s . W e




F i g u r e 4 . 2 4 : a V a n G o g h ' s S u n o w e r s i n a 6 1 - c o l o r i m a g e , a n d b F A S T - s e g m e n t e d i m a g e .

T h e o b j e c t s i n t h e i m a g e a r e c o n s e q u e n t l y e a s i l y r e c o g n i z e d b y i m a g e a n a l y s i s a l g o r i t h m s .

r a n d o m l y t o o k a p i x e l f r o m t h e i m a g e a n d p r e s e n t e d i t s c o r r e s p o n d i n g c o l o r i n -

f o r m a t i o n i n t h e I 2 - I 3 s p a c e t o t h e h a r d w a r e i m p l e m e n t a t i o n o f t h e F A S T n e u r a l

a r c h i t e c t u r e . T h e r e s u l t i n g s e g m e n t e d i m a g e a f t e r 1 0 , 0 0 0 i n p u t v e c t o r p a t t e r n s i s

s h o w n i n F i g u r e 4 . 2 4 a l o n g s i d e t h e o r i g i n a l i m a g e . F o u r c h r o m a t i c c l u s t e r s w e r e

i d e n t i e d o n e p e r n e u r o n , a n d o b j e c t s i n t h e i m a g e a r e c o n s e q u e n t l y e a s i l y r e c -

o g n i z e d b y i m a g e a n a l y s i s a l g o r i t h m s , i . e . , t h e v a s e , t h e o w e r s , t h e t a b l e , a n d t h e

w a l l .

4 . 5 . 5 . 2 N e u r o c o n t r o l l e r a d a p t a t i o n

A m a j o r p r o b l e m i n n o n l i n e a r c o n t r o l i s t h e t u n i n g a n d a d a p t a t i o n o f t h e c o n t r o l l e r .

F o r t h i s p u r p o s e , a m o d e l o f t h e p r o c e s s i s u s u a l l y d e v e l o p e d . T h e n , f o l l o w i n g a n a p -

p r o x i m a t i o n o f t h e i n v e r s e r e l a t i o n b e t w e e n t h e d e s i r e d o u t p u t s a n d t h e c o n t r o l a c t i o n s ,

t h e c o n t r o l l e r i s a d j u s t e d . H o w e v e r , f o r m a n y r e a l - w o r l d p r o b l e m s t h e r e i s n o a v a i l a b l e

q u a n t i t a t i v e d a t a r e g a r d i n g i n p u t - o u t p u t r e l a t i o n s , r e n d e r i n g a n a l y t i c a l m o d e l i n g v e r y

d i c u l t 2 7 . F u r t h e r m o r e , e r r o r s i n t h e m o d e l c a n l e a d t o p o o r p e r f o r m a n c e o f t h e c o n -

t r o l l e r . A r t i c i a l n e u r a l n e t w o r k s h a v e b e e n p r o p o s e d a s a n a l t e r n a t i v e f o r i m p l e m e n t i n g

a d a p t i v e c o n t r o l l e r s w h i c h a r e c a p a b l e o f l e a r n i n g 1 3 8 , 2 2 6 . N e v e r t h e l e s s , d e t e r m i n i n g

t h e n e t w o r k ' s t o p o l o g y i s a d i c u l t p r o b l e m , l i m i t i n g t h e u s e f u l n e s s o f t h i s a p p r o a c h .

A s t r a i g h t f o r w a r d s o l u t i o n i s t h e u s e o f a n o n t o g e n i c n e u r a l n e t w o r k t h a t a d a p t s t o t h e

e n v i r o n m e n t o n l i n e . W e h a v e u s e d t h e F A S T u n s u p e r v i s e d c l u s t e r i n g n e t w o r k f o r a d a p t -

i n g t h e s t r u c t u r e o f a r e i n f o r c e m e n t - b a s e d n e u r o c o n t r o l l e r . A n e m p i r i c a l e v a l u a t i o n o f

t h e r e s u l t i n g c o n t r o l l e r s h o w s t h a t i t s u r p a s s e s o t h e r r e i n f o r c e m e n t l e a r n i n g m e t h o d s

1 5 6 , 1 5 7 . I n t h e f o l l o w i n g c h a p t e r s w e p r e s e n t a d e t a i l e d d e s c r i p t i o n o f t h e s y s t e m a n d

a n e x t e n s i o n o f t h e n e u r o c o n t r o l l e r , u t i l i z e d f o r a u t o n o m o u s r o b o t n a v i g a t i o n .




a n d n e u r o c o n t r o l . I n b o t h d o m a i n s , i t s b a s i c f u n c t i o n i s t o c a t e g o r i z e o r c l u s t e r i n p u t

i n f o r m a t i o n b y i t s e l f , a c c o r d i n g t o p r e v i o u s e x p e r i e n c e a n d t o a m e a s u r e o f s i m i l a r i t y ,

m u c h i n t h e s a m e w a y a s h u m a n s r e c o g n i z e a g i v e n o b j e c t a s b e i n g p a r t o f a k n o w n

c l a s s o f o b j e c t s . T h e r s t a p p l i c a t i o n s e r v e d t o e v a l u a t e t h e c l u s t e r i n g p r o p e r t i e s o f

t h e a l g o r i t h m , w h i l e t h e s e c o n d a p p l i c a t i o n w a s o u r m o t i v a t i o n t o d e v e l o p s t r u c t u r e -

a d a p t a b l e n e u r o c o n t r o l l e r s , p r e s e n t e d i n t h e f o l l o w i n g c h a p t e r s .



C h a p t e r 5

R e i n f o r c e m e n t L e a r n i n g : f r o m B i o l o g y

t o H a r d w a r e

reinforcement

Actions

exploration

T h e r e a l p r o b l e m i s n o t w h e t h e r m a c h i n e s t h i n k

b u t w h e t h e r m e n d o .

- B . F . S k i n n e r

C

a t e g o r i z a t i o n , i . e . , t h e p r o c e s s b y w h i c h d i s t i n c t e n t i t i e s a r e t r e a t e d a s e q u i v a l e n t ,

i s c o n s i d e r e d o n e o f t h e m o s t f u n d a m e n t a l c o g n i t i v e a c t i v i t i e s b e c a u s e c a t e g o r i z a -

t i o n a l l o w s u s t o u n d e r s t a n d a n d m a k e p r e d i c t i o n s a b o u t o b j e c t s a n d e v e n t s i n

o u r w o r l d . T h e A d a p t i v e R e s o n a n c e T h e o r y C h a p t e r 4 h e l p s t o e x p l a i n s o m e s e n s o r y

a n d c o g n i t i v e p r o c e s s e s i n t h e b r a i n s u c h a s p e r c e p t i o n , r e c o g n i t i o n , a t t e n t i o n , w o r k i n g

m e m o r y , e t c . H o w e v e r , o t h e r t y p e s o f l e a r n i n g , s u c h a s r e i n f o r c e m e n t l e a r n i n g , s e e m t o

g o v e r n s p a t i a l a n d m o t o r s k i l l a c q u i s i t i o n 2 2 .

W h i l e t h e A R T t h e o r y c l a i m s t h a t o n l y r e s o n a n t s t a t e s c a n d r i v e n e w l e a r n i n g i . e . ,

w h e n t h e c u r r e n t i n p u t s s u c i e n t l y m a t c h t h e s y s t e m ' s e x p e c t a t i o n s 7 3 , o t h e r t y p e s o f

b r a i n a d a p t a t i o n t h e o r i e s s u g g e s t t h a t l e a r n i n g i s d r i v e n b y c h a n g e s i n t h e e x p e c t a t i o n s

a b o u t f u t u r e s a l i e n t e v e n t s s u c h a s r e w a r d s a n d p u n i s h m e n t s 1 8 4 .

R e i n f o r c e m e n t l e a r n i n g r e f e r s t o a c l a s s o f a d a p t a t i o n a l g o r i t h m s w h e r e t h e s y s t e m

o r a g e n t h a s t o l e a r n t h r o u g h t r i a l a n d e r r o r c o u p l e d w i t h a r e w a r d p u n i s h m e n t m e c h -

a n i s m . T h e k e y c o n c e p t o f r e i n f o r c e m e n t l e a r n i n g m e t h o d s i s c a l l e d t e m p o r a l - d i e r e n c e

l e a r n i n g , w h e r e a d a p t a t i o n i s d r i v e n b y t h e d i e r e n c e b e t w e e n t e m p o r a l l y s u c c e s s i v e

p r e d i c t i o n s i . e . , a c h a n g e i n e x p e c t a t i o n s .

T h i s c o m p u t a t i o n a l a p p r o a c h o e r s a n a t t r a c t i v e p a r a d i g m t o a u t o m a t i n g g o a l -

d i r e c t e d l e a r n i n g a n d d e c i s i o n m a k i n g . I t h a s b e e n s u c c e s s f u l l y u s e d f o r l e a r n i n g s t r a t e -

g i e s f o r g a m i n g a n d c o n t r o l . R e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a r e v e r y w e l l s u i t e d

f o r o n l i n e l e a r n i n g s i n c e t h e i r t r a i n i n g e x a m p l e s c a n b e t a k e n d i r e c t l y f r o m t h e t e m p o -

r a l s e q u e n c e o f o r d i n a r y s e n s o r y i n p u t s , u n l i k e s u p e r v i s e d l e a r n i n g , w h e r e a n e x t e r n a l

6 3



6 4 5 . R e i n f o r c e m e n t L e a r n i n g : f r o m B i o l o g y t o H a r d w a r e

s u p e r v i s o r i s n e e d e d .

M o d e r n r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a r e t h e r e s u l t o f c o n c e p t s d e v e l o p e d f o r

t h e d o m a i n s o f a n i m a l l e a r n i n g , o p t i m a l c o n t r o l , a n d , m o r e r e c e n t l y , t e m p o r a l - d i e r e n c e

l e a r n i n g . T h e i d e a s a b o u t l e a r n i n g b y t r i a l - a n d - e r r o r w e r e i n i t i a l l y d e v e l o p e d i n r e s e a r c h

a b o u t a n i m a l l e a r n i n g . T h e c o n c e p t s o f s t a t e i n a d y n a m i c s y s t e m a n d o f v a l u e f u n c t i o n

a r e d e r i v e d f r o m t h e d o m a i n o f o p t i m a l c o n t r o l t h e i d e a o f l e a r n i n g i s n o t a b l y a b s e n t i n

t h i s d o m a i n o f i n s p i r a t i o n . F i n a l l y , t e m p o r a l - d i e r e n c e l e a r n i n g o r i g i n a t e s i n p a r t f r o m

a n i m a l l e a r n i n g p s y c h o l o g y , a n d p a r t i c u l a r l y , i n t h e n o t i o n o f s e c o n d a r y r e i n f o r c e r s a

s e c o n d a r y r e i n f o r c e r i s a s t i m u l u s t h a t h a s b e e n a s s o c i a t e d t o a p r i m a r y r e i n f o r c e r s u c h a s

f o o d o r p a i n , a n d h a s c o m e t o t a k e s i m i l a r r e i n f o r c i n g p r o p e r t i e s 2 0 0 , e v e n t h o u g h t h e

r s t i m p l e m e n t a t i o n o f s u c h a l g o r i t h m s w a s S a m u e l ' s f a m o u s c h e c k e r s - p l a y i n g p r o g r a m

1 9 5 9 1 7 6 w h i c h a p p a r e n t l y d i d n o t d r a w i n s p i r a t i o n f r o m s u c h c o n c e p t s , b u t r a t h e r

f r o m S h a n n o n a n d T u r i n g ' s w o r k s 1 8 9 , 2 1 3 .

W e w e r e p a r t i c u l a r l y m o t i v a t e d b y r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s b e c a u s e t h e y

o e r a n a t t r a c t i v e p a r a d i g m f o r o n l i n e a n d c o n t i n u a l l e a r n i n g w i t h o u t t h e n e e d o f a n e x -

t e r n a l s u p e r v i s o r o r s e p a r a t e d p h a s e s f o r t r a i n i n g a n d u t i l i z a t i o n . R e i n f o r c e m e n t l e a r n i n g

m e c h a n i s m s t h u s s e e m t o b e a n e l e g a n t p a r a d i g m f o r a d a p t a t i o n i n a u t o n o m o u s s y s t e m s ,

a n d c o m p l e m e n t v e r y n i c e l y t h e a d a p t i v e c a t e g o r i z a t i o n t e c h n i q u e s e x p l o r e d i n t h e l a s t

c h a p t e r .

I n t h i s c h a p t e r w e w i l l p r e s e n t t h e m a i n c o n c e p t s o f r e i n f o r c e m e n t l e a r n i n g , t h e

d i e r e n t p r o b l e m s t h a t a r i s e w h e n d e a l i n g w i t h s u c h t e c h n i q u e s a n d s o m e s u c c e s s f u l

a p p l i c a t i o n s . I n S e c t i o n 5 . 1 w e s t a r t b y i n t r o d u c i n g t h e p r i n c i p l e s o f l e a r n i n g t o p r e -

d i c t r e w a r d s p a r t i c u l a r l y i n a n i m a l l e a r n i n g . I n S e c t i o n 5 . 2 w e i n t r o d u c e r e i n f o r c e m e n t

l e a r n i n g , S e c t i o n 5 . 3 b r i e y d e s c r i b e s r e i n f o r c e m e n t l e a r n i n g w i t h i n t h e c o n t e x t o f n e u r o -

c o n t r o l a n d M a r k o v d e c i s i o n p r o c e s s e s , a n d i n S e c t i o n 5 . 4 , w e d e a l w i t h t h e p r i n c i p l e s o f

t e m p o r a l - d i e r e n c e l e a r n i n g . S e c t i o n 5 . 5 p r e s e n t s t h e p r o b l e m o f l e a r n i n g g a m e s t r a t e -

g i e s : w e u s e d t h e g a m e o f B l a c k j a c k a s a p r o b l e m t h a t e n a b l e d u s t o b e t t e r u n d e r s t a n d

r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a n d w e p r e s e n t i t t o i l l u s t r a t e t h e d y n a m i c s o f l e a r n i n g

b y i n t e r a c t i o n W i d r o w a l s o u s e d B l a c k j a c k i n t h e e a r l y 1 9 7 0 s t o t e s t o n e o f t h e r s t r e i n -

f o r c e m e n t l e a r n i n g a l g o r i t h m s . I t a l s o a l l o w e d u s t o t h i n k a b o u t t h e u s e o f r e i n f o r c e m e n t

l e a r n i n g t e c h n i q u e s f o r l e a r n i n g s t r a t e g i e s i n a m o r e g e n e r a l p r o b l e m i . e . , t h e p r o b l e m

o f a u t o n o m o u s r o b o t c o n t r o l . S e c t i o n 5 . 6 p r e s e n t s T D l e a r n i n g a n d m o d e l - b a s e d

r e i n f o r c e m e n t l e a r n i n g m e t h o d s , t w o e x t e n s i o n s o f T D - l e a r n i n g . S e c t i o n 5 . 7 p r e s e n t s t h e

p r o b l e m o f m a z e l e a r n i n g a s a n a b s t r a c t i o n o f t h e r e a l p r o b l e m o f a u t o n o m o u s r o b o t

n a v i g a t i o n a n d a c o m p a r i s o n o f s e v e r a l r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s i n s u c h t a s k

a n o r i g i n a l c o n t r i b u t i o n o f t h i s t h e s i s . S e c t i o n 5 . 8 p r e s e n t s t h e p r o b l e m o f g e n e r a l i z a -

t i o n i n r e i n f o r c e m e n t l e a r n i n g . S e c t i o n 5 . 9 p r e s e n t s a s o l u t i o n t o t h e w e l l - k n o w n i n v e r t e d

p e n d u l u m c o n t r o l p r o b l e m u s i n g a n o v e l n e u r o c o n t r o l l e r a r c h i t e c t u r e , a n d , n a l l y , S e c -

t i o n 5 . 1 0 p r e s e n t s t h e d i g i t a l i m p l e m e n t a t i o n o f t h e A d a p t i v e H e u r i s t i c C r i t i c A H C

m o d e l .



5 . 1 L e a r n i n g t o p r e d i c t r e w a r d s 6 5

5 . 1 L e a r n i n g t o p r e d i c t r e w a r d s

A d a p t i v e o r g a n i s m s h a v e t o d e a l w i t h a c o n t i n u a l l y c h a n g i n g e n v i r o n m e n t . T h u s , i n

o r d e r t o s u r v i v e , t h e y m u s t b e a b l e t o p r e d i c t o r a n t i c i p a t e f u t u r e e v e n t s b y g e n e r a l i z i n g

t h e c o n s e q u e n c e s o f t h e i r b e h a v i o r a l r e s p o n s e s t o s i m i l a r s i t u a t i o n s e x p e r i m e n t e d i n t h e

p a s t . P r e d i c t i o n s t h u s g i v e a d a p t i v e o r g a n i s m s t h e t i m e t o p r e p a r e t h e i r b e h a v i o r a l

r e a c t i o n s . P r e d i c t i o n s a r e b a s e d o n p r e v i o u s e x p e r i e n c e s a f t e r c o m b i n i n g s e a r c h a n d

m e m o r y 2 0 0 : t h e a d a p t i v e o r g a n i s m o r a g e n t s e l e c t s o n e o f t h e m a n y p o s s i b l e a c t i o n s

i n a p a r t i c u l a r s i t u a t i o n , a n d t h e n r e m e m b e r s t h e a c t i o n s t h a t w o r k e d b e s t a n d f o r g e t s

t h e i n a d e q u a t e a c t i o n s . T h e u s e o f s e a r c h a n d m e m o r y g i v e s r i s e t o w h a t i s c a l l e d

t r i a l - a n d - e r r o r l e a r n i n g .

T r i a l - a n d - e r r o r l e a r n i n g w a s p r o p o s e d b y t h e A m e r i c a n p s y c h o l o g i s t E d w a r d T h o r n -

d i k e i n t h e e a r l y 1 9 0 0 s . H e a t t e m p t e d t o d e v e l o p a n o b j e c t i v e e x p e r i m e n t a l m e t h o d t o

s t u d y t h e m e c h a n i c a l p r o b l e m s o l v i n g a b i l i t y o f c a t s a n d d o g s . H e d e v i s e d a n u m b e r o f

w o o d e n p u z z l e - b o x e s w h i c h c o u l d b e o p e n e d b y v a r i o u s c o m b i n a t i o n s o f l a t c h e s , l e v e r s ,

s t r i n g s , a n d t r e a d l e s . A d o g o r a c a t w o u l d b e p u t i n o n e o f t h e s e b o x e s a n d , s o o n e r

o r l a t e r , w o u l d m a n a g e t o e s c a p e f r o m i t . T h o r n d i k e o b s e r v e d t h a t o c c a s i o n a l l y , q u i t e

b y c h a n c e , a n a n i m a l p e r f o r m s a n a c t i o n w h i c h f r e e s i t f r o m t h e b o x . W h e n t h e a n i m a l

n d s i t s e l f i n t h e s a m e p o s i t i o n a g a i n , i t i s m o r e l i k e l y t o p e r f o r m t h e s a m e a c t i o n a g a i n .

T h e r e w a r d o f b e i n g f r e e d f r o m t h e b o x s o m e h o w s t r e n g t h e n s a n a s s o c i a t i o n b e t w e e n a

s t i m u l u s b e i n g i n a c e r t a i n p o s i t i o n i n t h e b o x a n d a n a p p r o p r i a t e a c t i o n . R e w a r d a c t s

t o s t r e n g t h e n s t i m u l u s - r e s p o n s e a s s o c i a t i o n s . T h e a n i m a l l e a r n s t o s o l v e t h e p u z z l e - b o x

n o t b y r e e c t i n g o n p o s s i b l e a c t i o n s a n d r e a l l y p u z z l i n g i t s w a y o u t o f i t b u t b y a q u i t e

m e c h a n i c a l d e v e l o p m e n t o f a c t i o n s o r i g i n a l l y m a d e b y c h a n c e 2 1 6 .

I n 1 9 1 1 T h o r n d i k e p r o p o s e d t h e s o - c a l l e d l a w o f e e c t :

O f s e v e r a l r e s p o n s e s m a d e t o t h e s a m e s i t u a t i o n t h o s e w h i c h a r e a c c o m p a -

n i e d o r c l o s e l y f o l l o w e d b y s a t i s f a c t i o n t o t h e a n i m a l w i l l , o t h e r t h i n g s b e i n g

e q u a l , b e m o r e r m l y c o n n e c t e d w i t h t h e s i t u a t i o n , s o t h a t , w h e n i t r e c u r s ,

t h e y w i l l b e m o r e l i k e l y t o r e c u r ; t h o s e w h i c h a r e a c c o m p a n i e d o r c l o s e l y f o l -

l o w e d b y d i s c o m f o r t t o t h e a n i m a l w i l l , o t h e r t h i n g s b e i n g e q u a l , h a v e t h e i r

c o n n e c t i o n s t o t h e s i t u a t i o n w e a k e n e d , s o t h a t , w h e n i t r e c u r s , t h e y w i l l b e

l e s s l i k e l y t o o c c u r . T h e g r e a t e r t h e s a t i s f a c t i o n o r d i s c o m f o r t , t h e g r e a t e r t h e

s t r e n g t h e n i n g o r w e a k e n i n g o f t h e b o n d 2 0 8 .

T h e l a w o f e e c t i s b o t h s e l e c t i v e i . e . , i t i n v o l v e s t r y i n g a l t e r n a t i v e a c t i o n s a n d

s e l e c t i n g a m o n g t h e m b y c o m p a r i n g t h e i r c o n s e q u e n c e s a n d a s s o c i a t i v e i . e . , t h e a l -

t e r n a t i v e s f o u n d b y s e l e c t i o n a r e a s s o c i a t e d t o p a r t i c u l a r s i t u a t i o n s , w h i l e s u p e r v i s e d

l e a r n i n g i s o n l y a s s o c i a t i v e 2 0 0 .

T h e c o n c e p t o f r e i n f o r c e m e n t i s a n e x t e n s i o n o f t h e T h o r n d i k e ' s l a w o f e e c t a n d

w a s d e v e l o p e d b y B . F . S k i n n e r 1 9 5 . A r e i n f o r c e m e n t i s a g e n e r a l l y p o s i t i v e e v e n t e . g . ,

t h e d i s t r i b u t i o n o f f o o d , i n t h e c a s e o f a n i m a l l e a r n i n g e x p e r i m e n t s o c c u r r i n g a f t e r a n

a c t i o n i s p e r f o r m e d , w h i c h i n c r e a s e s t h e p r o b a b i l i t y t h a t s u c h a c t i o n w i l l b e p e r f o r m e d

i n t h e f u t u r e .

N e u r o s c i e n c e r e s e a r c h e r s h a v e i d e n t i e d a n e u r a l s u b s t r a t e o f p r e d i c t i o n a n d r e w a r d

i n e x p e r i m e n t s w i t h p r i m a t e s . T h e s o - c a l l e d d o p a m i n e n e u r o n s h a v e b e e n s h o w n t o b e




e x c e l l e n t f e a t u r e d e t e c t o r s o f t h e g o o d n e s s o f e n v i r o n m e n t a l e v e n t s r e l a t i v e t o l e a r n e d

p r e d i c t i o n s a b o u t t h o s e e v e n t s 1 8 4 . T h e y e m i t a p o s i t i v e s i g n a l i f a d e s i r e d e v e n t i s

b e t t e r t h a n p r e d i c t e d , n o s i g n a l i f a d e s i r e d e v e n t o c c u r s a s p r e d i c t e d , a n d a n e g a t i v e

s i g n a l i f t h e d e s i r e d e v e n t i s w o r s e t h a n p r e d i c t e d 1 8 4 .

M o r e o v e r , D e h a e n e a n d C h a n g e u x 5 0 p r o p o s e d t h a t t h e o r g a n i s m i t s e l f c a n m o n i t o r

i t s o w n s u c c e s s v i a a n i n t e r n a l a u t o - e v a l u a t i o n l o o p . S u c h l e a r n i n g m e c h a n i s m t a k e s p l a c e

p u r e l y b y m e n t a l e x p e r i m e n t , w i t h o u t a n y i n t e r a c t i o n w i t h t h e e n v i r o n m e n t a f e a t u r e

e s s e n t i a l i n m a t h e m a t i c a l d e v e l o p m e n t a n d o t h e r c o g n i t i v e d o m a i n s .

S i m i l a r l y , a r t i c i a l s y s t e m s c a n l e a r n t o p r e d i c t b y t h e s o - c a l l e d t e m p o r a l - d i e r e n c e

T D m e t h o d s . T e m p o r a l - d i e r e n c e m e t h o d s a r e c o m p u t a t i o n a l m o d e l s t h a t e n a b l e a

s y s t e m t o l e a r n t o p r e d i c t r e w a r d s b y t r i a l - a n d - e r r o r , b a s e d o n t h e i d e a t h a t l e a r n i n g i s

d r i v e n b y c h a n g e s i n t h e e x p e c t a t i o n s a b o u t f u t u r e s a l i e n t e v e n t s s u c h a s r e w a r d s a n d

p u n i s h m e n t s 1 8 4 . S u c h c h a n g e s a r e d e t e c t e d b y c o m p u t i n g t e m p o r a l d i e r e n c e s o f t h e

e s t i m a t i o n s o f r e w a r d s .

R

B

Reinforcement

Agent’sbehavior

r

Reinforcement

aActions

function

s

Environmentstates

World

F i g u r e 5 . 1 : R e i n f o r c e m e n t l e a r n i n g .

5 . 2 R e i n f o r c e m e n t l e a r n i n g

R e i n f o r c e m e n t l e a r n i n g r e f e r s t o a c l a s s o f a d a p t a t i o n a l g o r i t h m s w h e r e o n l y a s c a l a r

e v a l u a t i o n r e i n f o r c e m e n t o f t h e s y s t e m ' s p e r f o r m a n c e i s a v a i l a b l e 2 3 .

R e i n f o r c e m e n t l e a r n i n g t a s k s a r e g e n e r a l l y t r e a t e d i n d i s c r e t e t i m e s t e p s . A t e a c h

t i m e s t e p t , t h e l e a r n i n g s y s t e m r e c e i v e s s o m e r e p r e s e n t a t i o n o f t h e e n v i r o n m e n t ' s s t a t e ,

i t t r i e s a n a c t i o n , a n d o n e s t e p l a t e r i t i s r e i n f o r c e d b y r e c e i v i n g a s c a l a r e v a l u a t i o n i . e . ,

a r e w a r d o r a p u n i s h m e n t a n d n d s i t s e l f i n a n e w s t a t e F i g u r e 5 . 1 . R e i n f o r c e m e n t

l e a r n i n g t e c h n i q u e s i n v o l v e t h e u s e o f a v a l u e f u n c t i o n : a f u n c t i o n o f s t a t e v a l u e s o r

s t a t e - a c t i o n v a l u e s . A s t a t e v a l u e d e n o t e d a s V s r e p r e s e n t s t h e e x p e c t e d c u m u l a t i v e



5 . 3 N e u r o c o n t r o l a n d M a r k o v d e c i s i o n p r o c e s s e s 6 7

r e i n f o r c e m e n t a n a g e n t c a n r e c e i v e s t a r t i n g f r o m a g i v e n s t a t e s ; a n a c t i o n v a l u e d e -

n o t e d b y Q s ; a r e p r e s e n t s t h e e x p e c t e d c u m u l a t i v e r e i n f o r c e m e n t a n a g e n t c a n r e c e i v e

w h e n c h o o s i n g a c t i o n a f r o m s t a t e s . I n t h e g e n e r a l c a s e , t h e b e h a v i o r o f t h e l e a r n i n g

s y s t e m i . e . , i t s p o l i c y i s a s i m p l e f u n c t i o n o f t h e v a l u e f u n c t i o n . T h e r e f o r e , a d a p -

t a t i o n i s a c h i e v e d b y u p d a t i n g t h e v a l u e f u n c t i o n u s i n g t h e s c a l a r e v a l u a t i o n r e c e i v e d

w h i l e i n t e r a c t i n g w i t h t h e e n v i r o n m e n t . A k e y i d e a i n r e i n f o r c e m e n t l e a r n i n g i s c a l l e d

t e m p o r a l - d i e r e n c e T D l e a r n i n g 1 9 7 . T D l e a r n i n g m e t h o d s a l l o w a s y s t e m t o l e a r n

f r o m t h e r a w e x p e r i e n c e w i t h o u t a m o d e l o f i t s e n v i r o n m e n t a n d t o u p d a t e i t s e s t i m a t e s

o f t h e v a l u e f u n c t i o n u s i n g p r e v i o u s l y l e a r n e d e s t i m a t e s i . e . , b y b o o t s t r a p p i n g .

A r e i n f o r c e m e n t l e a r n i n g s y s t e m h a s t o d e a l w i t h t h e t e m p o r a l c r e d i t a s s i g n m e n t

p r o b l e m , i . e . , h o w t o p u n i s h o r r e w a r d a c t i o n s w h e n t h e y h a v e l o n g - r e a c h i n g e e c t s , a n d

t h e e x p l o r a t i o n - e x p l o i t a t i o n d i l e m m a , i . e . , h o w t o d e c i d e w h e n t o t r y n e w a c t i o n s t o

e x p l o r e i n o r d e r t o d i s c o v e r b e t t e r a c t i o n s e l e c t i o n s f o r t h e f u t u r e 2 0 0 .

R e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a p p e a r t o b e v e r y u s e f u l i n p r o b l e m s w h e r e t h e

e n v i r o n m e n t p r o v i d e s a s t r e a m o f i n p u t p a t t e r n s , a n d t h e t a r g e t o u t p u t f o r e a c h i n p u t

p a t t e r n a r e n o t k n o w n 7 5 . A p p l i c a t i o n s o f s u c h l e a r n i n g a l g o r i t h m s a r i s e i n s e q u e n t i a l -

d e c i s i o n p r o c e s s e s , s u c h a s t h e d e v e l o p m e n t o f o p t i m a l s t r a t e g i e s f o r g a m i n g a n d c o n t r o l .

5 . 3 N e u r o c o n t r o l a n d M a r k o v d e c i s i o n p r o c e s s e s

A m a j o r p r o b l e m i n n o n l i n e a r c o n t r o l i s t h e t u n i n g a n d a d a p t a t i o n o f t h e c o n t r o l l e r .

F o r t h i s p u r p o s e a m o d e l o f t h e p r o c e s s i s u s u a l l y d e v e l o p e d . T h e n , f o l l o w i n g a n a p -

p r o x i m a t i o n o f t h e i n v e r s e r e l a t i o n b e t w e e n t h e d e s i r e d o u t p u t s a n d t h e c o n t r o l a c t i o n s ,

t h e c o n t r o l l e r i s a d j u s t e d . H o w e v e r , f o r m a n y r e a l - w o r l d p r o b l e m s t h e r e i s n o a v a i l a b l e

q u a n t i t a t i v e d a t a r e g a r d i n g i n p u t - o u t p u t r e l a t i o n s , r e n d e r i n g a n a l y t i c a l m o d e l i n g v e r y

d i c u l t 2 7 . M o r e o v e r , e r r o r s i n t h e m o d e l c a n l e a d t o p o o r p e r f o r m a n c e o f t h e c o n -

t r o l l e r . A r t i c i a l n e u r a l n e t w o r k s , a n d p a r t i c u l a r l y r e i n f o r c e m e n t - l e a r n i n g - b a s e d n e u r a l

n e t w o r k s h a v e b e e n p r o p o s e d a s a n a l t e r n a t i v e f o r i m p l e m e n t i n g a d a p t i v e c o n t r o l l e r s

w h i c h a r e c a p a b l e o f l e a r n i n g i . e . , n e u r o c o n t r o l l e r s 1 8 2 .

r

s s’

a’a

F i g u r e 5 . 2 : S t a t e t r a n s i t i o n i n a M a r k o v d e c i s i o n p r o c e s s M D P .

N e u r o c o n t r o l p r o b l e m s c a n b e m o d e l e d a s M a r k o v d e c i s i o n p r o c e s s e s M D P s . A

M a r k o v D e c i s i o n P r o c e s s i s a d i s c r e t e s t o c h a s t i c v e r s i o n o f t h e s o - c a l l e d o p t i m a l c o n t r o l

p r o b l e m , i n t r o d u c e d b y B e l l m a n i n t h e l a t e 5 0 ' s 2 4 . T h e o p t i m a l c o n t r o l p r o b l e m

c o n c e r n s t h e d e s i g n o f a c o n t r o l l e r t h a t m i n i m i z e s a m e a s u r e o f t h e d y n a m i c a l b e h a v i o r

o f t h e s y s t e m i . e . , b y s o l v i n g t h e s o - c a l l e d B e l l m a n e q u a t i o n . T h e c l a s s o f m e t h o d s f o r

s o l v i n g o p t i m a l c o n t r o l p r o b l e m s i s k n o w n a s d y n a m i c p r o g r a m m i n g 2 0 0 .




10%

90%

s s’

"bad"novel

win

loss

F i g u r e 5 . 3 : B o a r d g a m e e x a m p l e . T h e p r o b l e m c o n s i s t s o f d e t e r m i n i n g i f a n o v e l g a m e b o a r d

p o s i t i o n s i s g o o d o r b a d g i v e n t h a t t h e f o l l o w i n g p o s i t i o n s

0

i s k n o w n t o b e b a d f r o m

p r e v i o u s e x p e r i e n c e s i n c e 9 0 o f t h e t i m e i t l e a d s t o a l o s s a n d 1 0 o f t i m e t o a w i n a n d t h a t

t h e r s t t i m e t h r o u g h , t h e g a m e e v o l v e s a s i n d i c a t e d b y t h e d a s h e d a r r o w s .

A M a r k o v D e c i s i o n P r o c e s s i s c o m p o s e d o f a s e t o f p o s s i b l e s t a t e s S , a s e t o f

a c t i o n s A , a r e i n f o r c e m e n t f u n c t i o n R : S A ! R , a n d a s t a t e t r a n s i t i o n f u n c t i o n

P : S A ! S w h i c h d e t e r m i n e s p r o b a b i l i s t i c a l l y t h e n e x t s t a t e o f t h e e n v i r o n m e n t

a s a f u n c t i o n o f t h e c u r r e n t s t a t e a n d t h e s e l e c t e d a c t i o n . S i s a f u n c t i o n t h a t m a p s

s t a t e s t o p r o b a b i l i t i e s . F o r e x a m p l e , P s ; a ; s

0

r e p r e s e n t s t h e p r o b a b i l i t y o f m a k i n g a

t r a n s i t i o n f r o m s t a t e s t o s t a t e s

0

t a k i n g a c t i o n a F i g u r e 5 . 2 .

W h e n t h e s t a t e t r a n s i t i o n s a r e i n d e p e n d e n t o f a n y o t h e r s t a t e t r a n s i t i o n s o r p r e v i -

o u s s e l e c t e d a c t i o n s , t h e m o d e l i s s a i d t o b e M a r k o v i a n 1 0 4 . R e i n f o r c e m e n t l e a r n i n g

t e c h n i q u e s c a n b e s u c c e s s f u l l y a p p l i e d t o s o l v e M a r k o v d e c i s i o n p r o c e s s e s , a s w i l l b e

s h o w n i n t h e n e x t s e c t i o n s .

5 . 4 T e m p o r a l - d i e r e n c e T D l e a r n i n g

T h e s o - c a l l e d t e m p o r a l - d i e r e n c e m e t h o d s a r e a c l a s s o f i n c r e m e n t a l l e a r n i n g a l g o r i t h m s

s p e c i a l i z e d f o r p r e d i c t i o n , t h a t i s , f o r u s i n g p a s t e x p e r i e n c e w i t h a n i n c o m p l e t e l y k n o w n

s y s t e m t o p r e d i c t i t s f u t u r e b e h a v i o r 1 9 7 .

T h e r s t u s e s o f t e m p o r a l - d i e r e n c e m e t h o d s i n c l u d e S a m u e l ' s c h e c k e r s p l a y e r i n

t h e l a t e 1 9 5 0 s 1 7 6 , H o l l a n d ' s b u c k e t b r i g a d e a l g o r i t h m i n t h e m i d d l e 1 9 7 0 s 8 7 , a n d

B a r t o , S u t t o n , a n d A n d e r s o n ' s a d a p t i v e h e u r i s t i c c r i t i c A H C l e a r n i n g a l g o r i t h m i n t h e

e a r l y 1 9 8 0 ' s 2 3 . H o w e v e r , s u c h a l g o r i t h m s w e r e p o o r l y u n d e r s t o o d u n t i l S u t t o n ' s p a p e r

L e a r n i n g t o P r e d i c t b y t h e M e t h o d s o f T e m p o r a l D i e r e n c e s i n t h e l a t e 1 9 8 0 s 1 9 7 .

L e a r n i n g i n T D m e t h o d s i s d r i v e n b y t h e d i e r e n c e b e t w e e n t e m p o r a l l y s u c c e s s i v e

p r e d i c t i o n s i . e . , t h e s y s t e m l e a r n s w h e n t h e r e i s a c h a n g e i n p r e d i c t i o n o v e r t i m e . A

k e y a d v a n t a g e o f T D m e t h o d s i s t h a t t h e i r t r a i n i n g e x a m p l e s c a n b e t a k e n d i r e c t l y f r o m

t h e t e m p o r a l s e q u e n c e o f o r d i n a r y s e n s o r y i n p u t s . T h e y h a v e b e e n s u c c e s s f u l l y u s e d

t o l e a r n s t r a t e g i e s f o r g a m i n g a n d c o n t r o l . T o i l l u s t r a t e t h e o p e r a t i o n o f T D l e a r n i n g ,

S u t t o n 1 9 7 p r e s e n t e d a v e r y s i m p l e g a m e - p l a y i n g t a s k , s h o w n i n F i g u r e 5 . 3 .

S u p p o s i n g t h a t a g a m e p o s i t i o n s

0

i s k n o w n t o b e b a d b y p r e v i o u s e x p e r i e n c e , a n d

t h a t , t h e r s t t i m e a g a m e p o s i t i o n s o c c u r s , t h e g a m e e v o l v e s a s s h o w n i n F i g u r e 5 . 3 , t h e



5 . 4 T e m p o r a l - d i e r e n c e T D l e a r n i n g 6 9

p r o b l e m w o u l d b e t o k n o w i f s u c h n o v e l g a m e p o s i t i o n s h o u l d b e e v a l u a t e d a s a g o o d

o n e o r a b a d o n e a s a r e s u l t o f s u c h e x p e r i e n c e . A s u p e r v i s e d l e a r n i n g m e t h o d , f o r

e x a m p l e , w o u l d f o r m a p a i r i n p u t , d e s i r e d - o u t p u t f r o m t h e n o v e l s t a t e s a n d t h e w i n

s t a t e t h a t f o l l o w e d i t , a n d w o u l d c l a s s t h e n o v e l g a m e p o s i t i o n a s a g o o d o n e , w h e r e a s

a t e m p o r a l d i e r e n c e l e a r n i n g m e t h o d w o u l d f o r m a p a i r f r o m t h e n o v e l s t a t e s a n d t h e

f o l l o w i n g s t a t e s

0

, w h i c h i s k n o w n t o b e a b a d o n e t h u s c l a s s i f y i n g i t c o r r e c t l y .

T D m e t h o d s e x p l o i t t h e i n f o r m a t i o n p r o v i d e d b y t h e t e m p o r a l s e q u e n c e o f s t a t e s

i . e . , t h e g a m e b o a r d p o s i t i o n s , w h i c h i s i g n o r e d b y m o s t s u p e r v i s e d l e a r n i n g a l g o r i t h m s .

T D m e t h o d s a r e p a r t i c u l a r l y u s e f u l i n m u l t i p l e - s t e p p r e d i c t i o n p r o b l e m s , t h a t i s , p r o b -

l e m s w h e r e t h e i n f o r m a t i o n a b o u t t h e c o r r e c t n e s s o f t h e p r e d i c t i o n s i s n o t r e v e a l e d u n t i l

m o r e t h a n o n e s t e p a f t e r t h e p r e d i c t i o n i s m a d e 1 9 7 .

T h e p r o b l e m o f d i s t r i b u t i n g t h e c r e d i t o f s u c c e s s a m o n g t h e m a n y d e c i s i o n s t a k e n

b y t h e s y s t e m w h i c h a r e i n v o l v e d i n p r o d u c i n g i t i s k n o w n a s t h e c r e d i t a s s i g n m e n t

p r o b l e m a f t e r M i n s k y i n t h e e a r l y 1 9 6 0 s . I n t h e f o l l o w i n g s e c t i o n s w e p r e s e n t s o m e

w i d e l y u s e d T D m e t h o d s a n d s o m e a p p l i c a t i o n s w e h a v e e x p l o r e d i n t h i s t h e s i s i n o r d e r

t o u n d e r s t a n d t h e d y n a m i c s o f s u c h a l g o r i t h m s a n d t h e i r u s e f u l n e s s f o r a u t o n o m o u s

l e a r n i n g i n r e a l w o r l d p r o b l e m s .

5 . 4 . 1 Q - l e a r n i n g a n d S A R S A l e a r n i n g

Q - l e a r n i n g 2 2 2 i s a t e m p o r a l - d i e r e n c e T D m e t h o d t h a t a t t e m p t s t o s o l v e t h e t e m -

p o r a l c r e d i t a s s i g n m e n t p r o b l e m . I n Q - l e a r n i n g , t h e l e a r n e d a c t i o n - v a l u e f u n c t i o n Q

d i r e c t l y a p p r o x i m a t e s t h e o p t i m a l a c t i o n - v a l u e f u n c t i o n , d e n o t e d b y Q

s ; a . T h i s c a n

b e a c h i e v e d b y m o d i f y i n g t h e Q v a l u e s s u c h t h a t t h e t e m p o r a l - d i e r e n c e e r r o r i s m i n i -

m i z e d :

Q s ; a = Q s ; a + T D

e r r

; 5 . 1

w h e r e T D

e r r

= r + m a x

a

0

Q s

0

; a

0

, Q s ; a ; 5 . 2

i s a c o n s t a n t p a r a m e t e r b e t w e e n 0 a n d 1 , k n o w n a s t h e s t e p - s i z e .

T h e v a l u e o f Q s ; a i s t h u s u p d a t e d s o t h a t i t s v a l u e t e n d s t o t h e s u m o f t h e c u r r e n t

r e w a r d r a n d t h e m a x i m u m f u t u r e r e w a r d m a x

a

0

Q s

0

; a

0

d i s c o u n t e d b y 0 1 , t h a t

i s , Q s ; a ! r + m a x

a

0

Q s

0

; a

0

. T h i s e x p r e s s i o n i s a n e s t i m a t e o f t h e t o t a l r e w a r d t h e

a g e n t c a n r e c e i v e b y t a k i n g a c t i o n a f r o m s t a t e s . T h e d e v e l o p m e n t o f Q - l e a r n i n g a n d t h e

m a t h e m a t i c a l p r o o f o f i t s c o n v e r g e n c e w i t h p r o b a b i l i t y 1 u n d e r c e r t a i n a s s u m p t i o n s

h a s b e e n o n e o f t h e m o s t i m p o r t a n t b r e a k t h r o u g h s i n r e i n f o r c e m e n t l e a r n i n g 2 0 0 .

T h e S A R S A a l g o r i t h m 1 7 5 i s a l s o a t e m p o r a l d i e r e n c e T D m e t h o d . A t e v e r y

t i m e s t e p , S A R S A u p d a t e s t h e e s t i m a t i o n s o f t h e a c t i o n - v a l u e f u n c t i o n s Q s ; a u s i n g t h e

q u i n t u p l e s ; a ; r ; s

0

; a

0

, w h i c h g i v e s r i s e t o t h e n a m e o f t h e a l g o r i t h m . U n l i k e Q - l e a r n i n g ,

S A R S A d o e s n o t e s t i m a t e f u t u r e r e w a r d a s a f u n c t i o n o f t h e d i s c o u n t e d m a x i m u m p o s -

s i b l e r e w a r d o f t a k i n g a c t i o n a

0

f r o m n e x t s t a t e s

0

i . e . , m a x

a

0

Q s

0

; a

0

t o e s t i m a t e t h e

t o t a l f u t u r e r e w a r d o f t a k i n g a c t i o n a f r o m s t a t e s , b u t s i m p l y a s a f u n c t i o n o f Q s

0

; a

0

.

F i g u r e 5 . 4 p r e s e n t s t h e S A R S A a l g o r i t h m i n p r o c e d u r a l f o r m .




1 . I n i t i a l i z e t h e Q s ; a v a l u e f u n c t i o n s a r b i t r a r i l y ,

2 . S e l e c t a n i n i t i a l s t a t e s ,

3 . S e l e c t a n a c t i o n a c c o r d i n g t o a c e r t a i n p o l i c y

4 . T a k e a c t i o n a ; o b s e r v e t h e r e w a r d r , n d t h e n e x t

s t a t e s

0

, a n d s e l e c t t h e n e x t a c t i o n a

0

,

5 . U p d a t e t h e e s t i m a t e v a l u e Q s ; a :

Q s ; a = Q s ; a + T D

e r r

, w h e r e

T D

e r r

= r + Q s

0

; a

0

, Q s ; a i s t h e

t e m p o r a l - d i e r e n c e e r r o r , i s t h e s t e p s i z e ,

a n d i s a d i s c o u n t r e w a r d f a c t o r ,

6 . L e t s = s

0

,

7 . G o t o s t e p 3 u n t i l t h e s t a t e s i s a t e r m i n a l s t a t e ,

8 . R e p e a t s t e p s 2 t o 7 f o r a p r e - d e n e d n u m b e r o f

r e r u n s .

F i g u r e 5 . 4 : S A R S A a l g o r i t h m f o r e s t i m a t i n g a c t i o n - v a l u e f u n c t i o n s .

5 . 4 . 2 A d a p t i v e h e u r i s t i c c r i t i c A H C l e a r n i n g

T h e A H C a l g o r i t h m c o n s i s t s o f t w o e l e m e n t s F i g u r e 5 . 5 : 1 a n A s s o c i a t i v e S e a r c h

E l e m e n t A S E o r s i m p l y t h e a c t o r , w h o s e o u t p u t i s t h e a c t i o n , a n d 2 a n A d a p t i v e

C r i t i c E l e m e n t A C E , o r s i m p l y t h e c r i t i c , w h i c h b u i l d s p r e d i c t i o n s o f t h e r e i n f o r c e m e n t

s i g n a l i . e . , t h e e x p e c t e d p e r f o r m a n c e 2 3 .

State

TD errorCRITIC

Reward

ACTOR Action

F i g u r e 5 . 5 : A d a p t i v e h e u r i s t i c c r i t i c A H C m o d e l .

E s s e n t i a l l y , t h e c r i t i c i m p l e m e n t s a s t a t e - v a l u e f u n c t i o n t h a t e v a l u a t e s t h e n e w s t a t e

a f t e r t a k i n g a n a c t i o n , t o d e t e r m i n e i f t h e s y s t e m a c t e d b e t t e r o r w o r s e t h a n e x p e c t e d .

S u c h e v a l u a t i o n i s b a s e d o n t h e T D e r r o r , w h i c h i s c o m p u t e d a s f o l l o w s :



5 . 4 T e m p o r a l - d i e r e n c e T D l e a r n i n g 7 1

T D

e r r

= r + V s

0

, V s ; 5 . 3

w h e r e V i s t h e c u r r e n t v a l u e f u n c t i o n i m p l e m e n t e d b y t h e c r i t i c , r i s t h e r e i n f o r c e -

m e n t s i g n a l , a n d i s t h e d i s c o u n t f a c t o r . W h e n t h e T D e r r o r i s p o s i t i v e , i t s u g g e s t s

t h a t t h e p r o b a b i l i t y o f t a k i n g a c t i o n a s h o u l d b e i n c r e a s e d f o r t h e f u t u r e a n d v i c e v e r s a

2 0 0 . T h e T D e r r o r t h u s d r i v e s a d a p t a t i o n i n t h e c r i t i c i t s e l f a s w e l l a s i n t h e a c t o r .

T h e c r i t i c i s u p d a t e d a s f o l l o w s :

V s = V s + T D

e r r

; 5 . 4

w h e r e i s a c o n s t a n t p a r a m e t e r u s u a l l y r e f e r r e d t o a s t h e s t e p - s i z e .

T h e a c t o r i m p l e m e n t s t h e p o l i c y i . e . , t h e b e h a v i o r o f t h e s y s t e m b y m e a n s o f

m o d i a b l e p a r a m e t e r s t h a t i n d i c a t e t h e p r e f e r e n c e p s ; a o f t a k i n g t h e a c t i o n a g i v e n a

s t a t e s . S u c h p r e f e r e n c e s a r e u p d a t e d p r o p o r t i o n a l l y t o t h e T D e r r o r :

p s ; a = p s ; a + T D

e r r

; 5 . 5

w h e r e i s a c o n s t a n t p a r a m e t e r a l s o a s t e p - s i z e . A n a c t i o n a i s s e l e c t e d d e p e n d i n g o n

t h e p r e f e r e n c e s p s ; a u s i n g a n - g r e e d y o r a s o f t m a x m e c h a n i s m S u b s e c t i o n 5 . 4 . 3 .

A c t o r - c r i t i c m e t h o d s w e r e d e v e l o p e d i n t h e e a r l y 1 9 8 0 s b u t h a v e n o t b e e n e x t e n s i v e l y

u s e d . O n t h e c o n t r a r y , Q - l e a r n i n g a n d S A R S A h a v e r e c e i v e d a l o t o f a t t e n t i o n , e v e n

t h o u g h t h e y c a n n o t l e a r n a p o l i c y i n d e p e n d e n t l y o f t h e v a l u e f u n c t i o n a s i s t h e c a s e w i t h

a c t o r - c r i t i c m e t h o d s 2 0 0 . D e s p i t e t h e a d v a n t a g e s o f a c t o r - c r i t i c m o d e l s , Q - l e a r n i n g a n d

S A R S A a r e l e s s c o m p u t a t i o n a l l y i n t e n s i v e , s i n c e t h e p o l i c y i s o b t a i n e d d i r e c t l y f r o m t h e

v a l u e f u n c t i o n a n d n e e d n o t b e s e p a r a t e l y c o m p u t e d .

5 . 4 . 3 E x p l o r a t i o n v s . e x p l o i t a t i o n

O n e o f t h e p r o b l e m s t h a t a r i s e s i n t h e d o m a i n o f a u t o n o m o u s l e a r n i n g s y s t e m s i s h o w t o

d e c i d e w h e n t o t r y n e w a c t i o n s i . e . , w h e n t o e x p l o r e i n o r d e r t o d i s c o v e r b e t t e r a c t i o n

s e l e c t i o n s f o r t h e f u t u r e . S u c h p r o b l e m i s o f t e n k n o w n a s t h e e x p l o r a t i o n - e x p l o i t a t i o n

d i l e m m a . R e i n f o r c e m e n t l e a r n i n g m e t h o d s p r e d i c t r e w a r d s b y e x p l o i t i n g v a l u e f u n c t i o n s

t h a t m a p s t a t e s o r s t a t e - a c t i o n p a i r s t o r e w a r d s S e c t i o n 5 . 2 . W h e n t h e s y s t e m c h o o s e s

t h e a c t i o n a t h a t m a p s t o t h e h i g h e s t p r e d i c t i o n , w e s a y t h a t t h e s y s t e m i s e x p l o i t i n g ,

w h e r e a s w h e n i t s e l e c t s a n o t h e r a c t i o n i n o r d e r t o g a i n n e w i n f o r m a t i o n , w e s a y t h a t i t i s

e x p l o r i n g . O n e o f t h e r s t r e s e a r c h e r s t o i n v e s t i g a t e i t i n t h e d o m a i n o f a d a p t i v e s y s t e m s

w a s H o l l a n d 8 6 . H e o b s e r v e d t h a t a s y s t e m m a y l o s e p e r f o r m a n c e b y s e a r c h i n g n e w

i n f o r m a t i o n e x p l o r i n g w h i l e i t m a y n e v e r a m e l i o r a t e i t s p e r f o r m a n c e i f i t j u s t e x p l o i t s

t h e b e s t o f w h a t i t h a s p r e v i o u s l y l e a r n e d e x p l o i t i n g .

T h e s i m p l e s t e x p l o r e e x p l o i t s t r a t e g y c o n s i s t s o n t a k i n g t h e a c t i o n w i t h h i g h e s t

Q - v a l u e w i t h a x e d p r o b a b i l i t y 1 , , w h e r e i s a c o n s t a n t 0 1 , a n d a r a n d o m

a c t i o n o t h e r w i s e . T h i s m e t h o d i s c a l l e d t h e - g r e e d y a c t i o n s e l e c t i o n m e c h a n i s m . I t

i s v e r y e a s y t o i m p l e m e n t a n d e n a b l e s t h e s y s t e m t o l e a r n c o n t i n u a l l y . H o w e v e r , i n

s t a t i o n a r y p r o b l e m s i . e . , a p r o b l e m i n w h i c h i t s p a r a m e t e r s d o n o t c h a n g e i n t i m e t h e

c o n t i n u a l e x p l o r a t i o n m a y l e a d t o s u b o p t i m a l r e s u l t s , e v e n i f t h e o p t i m a l s o l u t i o n h a s

a l r e a d y b e e n l e a r n e d .



5 . 5 L e a r n i n g g a m e s t r a t e g i e s 7 3

6

F i g u r e 5 . 6 : B l a c k j a c k l e a r n i n g .

5 . 5 . 1 T h e g a m e o f B l a c k j a c k

B l a c k j a c k o r T w e n t y - O n e i s a c a r d g a m e w h e r e t h e p l a y e r a t t e m p t s t o b e a t t h e d e a l e r

b y o b t a i n i n g a s u m o f c a r d v a l u e s h i g h e r t h a n t h e d e a l e r ' s a n d e q u a l t o o r l e s s t h a n 2 1 .

E a c h c a r d h a s t h e s a m e v a l u e a s i t s i n d e x e x c e p t f o r t h e a c e w h i c h c a n b e c o u n t e d a s

1 o r 1 1 , a s t h e p l a y e r ' s c h o i c e a n d t h e p i c t u r e c a r d s w h i c h a r e c o u n t e d a s 1 0 . T h e

a c e c a n b e v a l u e d a s e i t h e r 1 o r 1 1 , a t t h e o p t i o n o f t h e p l a y e r . A t t h e b e g i n n i n g o f t h e

g a m e , e a c h p l a y e r i s d e a l t t w o c a r d s , o n e f a c e u p a n d o n e f a c e d o w n . A f t e r l o o k i n g a t h i s

r s t t w o c a r d s , t h e p l a y e r c h o o s e s t o d r a w h i t o r t o s t o p d r a w i n g c a r d s s t a n d . T h e

p l a y e r m a y t a k e a s m a n y h i t s a s h e w a n t s a s l o n g a s h e d o e s n ' t b u s t , i . e . , a s l o n g a s

t h e s u m o f c a r d v a l u e s i n h i s h a n d d o e s n o t e x c e e d 2 1 . O n c e a l l t h e p l a y e r s h a v e n i s h e d

t h e i r h a n d s , t h e d e a l e r s h o w s h i s o r h e r f a c e - d o w n c a r d a n d d r a w s c a r d s u n t i l h e s h e h a s

a t o t a l o f 1 7 o r a b o v e t h e s t a n d a r d s t r a t e g y i n p r o f e s s i o n a l B l a c k j a c k .

I n o u r e x p e r i m e n t s , t h e g a m e o f B l a c k j a c k w a s s i m p l i e d b y r e m o v i n g i n t e r e s t i n g

a s p e c t s , s u c h a s b e t t i n g , a n d s p e c i a l f e a t u r e s , s u c h a s s p l i t t i n g p a i r s , d o u b l i n g d o w n ,

i n s u r a n c e , e t c . T h e g a m e h a s o n e d e a l e r , a n d o n e o r t w o p l a y e r s . T h e d e c k o f 5 2

c a r d s i s s h u e d b e f o r e e a c h h a n d . A n a c e i s a u t o m a t i c a l l y v a l u e d a s 1 1 , u n l e s s i t w o u l d

c a u s e a b u s t , i n w h i c h c a s e i t i s v a l u e d a s 1 . T h e s t a t e s o f o u r s y s t e m c o r r e s p o n d s

t o t h e s u m o f c a r d v a l u e s i n t h e p l a y e r ' s h a n d i . e . , t h e s c o r e , i f t h e p l a y e r d o e s n o t

h a v e a n a c e , s = f 4 ; 5 ; 6 ; : : : ; 2 0 g . I f t h e p l a y e r h a s a n a c e , t h e r e i s a s e t o f 9 e x t r a s t a t e s

s = f 2 3 ; 2 4 ; : : : ; 3 1 g d e t e r m i n e d b y t h e s u m o f c a r d v a l u e s b e i n g h e l d p l u s 1 1 n o t e , t h a t

s t a t e s 2 3 t o 3 1 c o r r e s p o n d t o a s u m o f t h e c a r d v a l u e s i n h a n d b e t w e e n 2 a n d 1 0 , w h e n




Q = S 4 5 6 7 8 9 1 0 1 1

Q s ; 0 - 0 . 1 9 8 - 0 . 2 8 1 - 0 . 2 6 7 - 0 . 2 9 3 - 0 . 2 2 1 - 0 . 0 9 8 - 0 . 0 1 + 0 . 0 0 5

Q s ; 1 - 0 . 2 0 3 - 0 . 2 8 9 - 0 . 3 0 1 - 0 . 2 8 1 + 0 . 2 0 6 - 0 . 1 2 4 - 0 . 0 4 2 - 0 . 5 3 2

Q = S 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0

Q s ; 0 - 0 . 3 2 7 - 0 . 3 2 4 - 0 . 3 8 8 - 0 . 5 8 9 - 0 . 4 4 9 - 0 . 4 6 4 - 0 . 1 9 0 - 0 . 3 4 2 - 0 . 0 9 0

Q s ; 1 - 0 . 0 4 2 - 0 . 5 6 1 - 0 . 5 3 2 - 0 . 5 5 2 - 0 . 4 4 0 - 0 . 4 1 0 - 0 . 5 7 3 - 0 . 1 1 4 + 0 . 2 4 9

T a b l e 5 . 1 : L e a r n e d s t a t e - a c t i o n v a l u e s Q s ; a a f t e r a p p r o x i m a t e l y 5 0 0 r u n s o f 1 0 0 g a m e s . T h e

s e t o f a c t i o n s a r e ' 0 ' t o h i t a n d ' 1 ' t o s t a n d . W e s h o w t h e a c t i o n - v a l u e s u p t o s t a t e s = 2 0

f o r c l a r i t y .

c o n s i d e r i n g t h e v a l u e o f a n a c e a s 1 . T w o t e r m i n a l s t a t e s , s = 2 1 a n d s = , 1 , w e r e a l s o

i n t r o d u c e d t o i n d i c a t e a p e r f e c t s c o r e o r a b u s t . A t e a c h s t a g e o f t h e g a m e , t h e p l a y e r

m u s t c h o o s e w h e t h e r t o h i t o r t o s t a n d . T h i s s e l e c t i o n f o l l o w s a n - g r e e d y p o l i c y .

hit hithit

13 14 16 -1

F i g u r e 5 . 7 : S t a t e t r a n s i t i o n s o f a B l a c k j a c k g a m e e x a m p l e . T h e s y s t e m s t a r t s w i t h a g u r e

a n d a t h r e e i n h a n d s t a t e 1 3 , i t c h o o s e s t o h i t , r e c e i v e s a n a c e , a n d c h a n g e s t o s t a t e 1 4 . I n

s t a t e 1 4 , i t c h o o s e s t o h i t , a n d c h a n g e s t o s t a t e 1 6 a f t e r r e c e i v i n g a t w o a s n e w c a r d . F i n a l l y ,

i t c h o o s e s ' t o h i t ' f r o m s t a t e 1 6 a n d f a l l s i n t o t h e t e r m i n a l s t a t e - 1 .

5 . 5 . 2 E x a m p l e o f l e a r n i n g

T h e l e a r n i n g s y s t e m c o n s i s t e d o f a l o o k - u p t a b l e i m p l e m e n t a t i o n o f t h e S A R S A a l g o -

r i t h m , u s i n g t h e e n v i r o n m e n t ' s s t a t e e n c o d i n g p r e v i o u s l y d e s c r i b e d . I n o u r r s t e x p e r i -

m e n t s , t h e r e i n f o r c e m e n t s i g n a l w a s d e n e d a s f o l l o w s :

r =

8

:

, 1 i f b u s t ;

+ 1 i f w i n ;

0 o t h e r w i s e

I n T a b l e 5 . 1 w e p r e s e n t t h e c u r r e n t s t a t e - a c t i o n v a l u e s o f a s y s t e m t h a t h a s b e e n

p l a y i n g t h e g a m e o f B l a c k j a c k f o r n e a r l y 5 0 , 0 0 0 t i m e s . T h e d i s c o u n t f a c t o r w a s s e t t o 0 . 9

a n d t h e s t e p - s i z e t o 0 . 0 1 . I f w e c o n s i d e r t h e h a n d s h o w n i n F i g u r e s 5 . 6 a n d 5 . 7 , w h e r e

o u r s y s t e m p l a y s r s t , t h e n a h u m a n p l a y e r , a n d n a l l y t h e d e a l e r , w e n o t i c e t h a t o u r

s y s t e m h a s f o l l o w e d t h e s e q u e n c e o f s t a t e s : s = 1 3 , s = 1 4 , s = 1 6 , a n d n a l l y s = , 1

a b u s t . L e a r n i n g t a k e s p l a c e b y u s i n g t h e S A R S A - l e a r n i n g a l g o r i t h m a s f o l l o w s :

1 . T h e i n i t i a l s t a t e o f t h e s y s t e m c o r r e s p o n d s t o t h e s u m o f c a r d v a l u e s i n h a n d :

s = 1 3 .




S t r a t e g y A v g M a x M i n

d e a l e r ' s 4 0 . 7 5 7 2 5

h o l d 3 8 . 3 5 1 2 4

r a n d o m 3 1 . 5 4 6 1 8

T a b l e 5 . 2 : P e r f o r m a n c e o f x e d s t r a t e g i e s a g a i n s t t h e d e a l e r ' s s t r a t e g y .

Q = S 4 5 6 7 8 9 1 0 1 1

Q s ; 0 + 0 . 0 6 3 + 0 . 8 5 0 + 0 . 8 6 0 + 0 . 8 7 0 + 0 . 8 8 0 + 0 . 8 8 4 + 0 . 8 9 9 + 0 . 9 2 8

Q s ; 1 + 0 . 9 8 5 + 0 . 0 6 8 + 0 . 0 5 9 + 0 . 0 6 8 + 0 . 1 4 9 + 0 . 1 4 9 + 0 . 1 8 2 + 0 . 3 1 7

Q = S 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0

Q s ; 0 + 0 . 2 4 5 + 0 . 0 7 8 - 0 . 0 1 6 - 0 . 1 1 2 - 0 . 1 9 1 - 0 . 2 0 8 - 0 . 2 4 0 - 0 . 2 2 3 - 0 . 3 5 5

Q s ; 1 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0 + 1 . 0 0 0

Q = S 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1

Q s ; 0 + 0 . 8 3 1 + 0 . 8 5 5 + 0 . 8 6 0 + 0 . 8 7 2 + 0 . 0 8 7 0 + 0 . 8 8 1 + 0 . 8 9 9 + 0 . 9 0 1 + 0 . 9 0 3

Q s ; 1 + 0 . 0 5 9 + 0 . 0 5 9 + 0 . 0 3 0 + 0 . 0 3 0 + 0 . 0 7 7 + 0 . 0 8 6 + 0 . 0 7 7 + 0 . 0 6 8 + 0 . 0 7 7

T a b l e 5 . 3 : L e a r n e d s t a t e - a c t i o n v a l u e s Q s ; a a f t e r 1 0 0 0 r u n s o f 1 0 0 g a m e s . T h e s e t o f a c t i o n s

a r e ' 0 ' t o h i t a n d ' 1 ' t o s t a n d .

t o r e d u c e d o v e r a l l p e r f o r m a n c e , s o m e t i m e s e v e n l o w e r t h a n t h e d e a l e r ' s x e d s t r a t e g y .

T h e o v e r a l l p e r f o r m a n c e a f t e r 1 0 0 0 r u n s o f 1 0 0 g a m e s o f t h e S A R S A a l g o r i t h m w i t h

0 . 0 1 - g r e e d y s e l e c t i o n a c t i o n m e c h a n i s m T a b l e 5 . 4 s u r p a s s e s t h e a v e r a g e r a t e o f s u c c e s s

o f 4 0 . 6 r e p o r t e d i n 1 5 0 , a n d t h e p e r f o r m a n c e o f x e d s t r a t e g i e s p r e s e n t e d i n T a b l e 5 . 2 .

N o t e t h a t o u r a p p r o a c h u s e s p u n i s h m e n t w h e n b u s t i n s t e a d o f w h e n l o s s , w h i c h g i v e s r i s e

t o a m o r e c o n s e r v a t i v e s t r a t e g y b u t h i g h e r r a t e s o f s u c c e s s .

P e r f o r m a n c e o f l e a r n e d s t r a t e g i e s

U s i n g a d i s c o u n t f a c t o r o f = 0 : 9 , a s t e p s i z e = 0 : 0 1 , a n d a n - g r e e d y a c t i o n s e l e c t i o n

= 0 : 0 1 , t h e S A R S A l e a r n i n g a l g o r i t h m d i s c o v e r e d t h e f o l l o w i n g s t r a t e g y :

a c t i o n =

h i t i f s c o r e 1 1 o r a n A C E i s h e l d

s t a n d o t h e r w i s e

S u c h s t r a t e g y c a n b e i n t e r p r e t e d f r o m t h e l e a r n e d a c t i o n - v a l u e s a f t e r t h e 1 0 0 0 r u n s

o f 1 0 0 g a m e s , g i v e n i n T a b l e 5 . 3 a s a m a t t e r o f f a c t , t h o s e Q v a l u e s i n d i c a t e t h a t i n

s t a t e 4 , t h e l e a r n e r s h o u l d n o t h i t , a n a n o m a l y w h i c h m i g h t b e e x p l a i n e d b y t h e r e l a t i v e

r a r i t y o f s u c h s t a t e d u e t o t h e l o w p r o b a b i l i t y o f r e c e i v i n g t w o c o n s e c u t i v e t w o - v a l u e d

c a r d s a t t h e b e g i n n i n g .

T h e l e a r n e d s t r a t e g y i s v e r y c o n s e r v a t i v e , i . e . , n o t t o h i t i f t h e s c o r e i s l a r g e r t h a n 1 1 .

H o w e v e r , i t i s i n t e r e s t i n g t o n o t e h o w t h e a l g o r i t h m d e t e r m i n e s s u c h t h r e s h o l d w i t h o u t

e x p l i c i t l y p r o g r a m m i n g t h e r u l e s o f t h e g a m e j u s t b y e x p e r i e n c e a n d t h e r e i n f o r c e m e n t

s i g n a l a t t h e e n d o f e a c h h a n d . I n f a c t , t h e S A R S A p l a y e r l e a r n s t o h i t o n l y i f i t i s s u r e



5 . 6 T D l e a r n i n g a n d m o d e l - b a s e d m e t h o d s 7 7

A v g M a x M i n

0 . 1 4 1 . 1 5 6 2 6

0 . 0 1 4 2 . 4 5 6 2 6

0 : 1 0 : 9 9

r

4 0 . 9 5 3 2 6

T a b l e 5 . 4 : P e r f o r m a n c e o f l e a r n e d s t r a t e g i e s a g a i n s t t h e d e a l e r ' s s t r a t e g y .

0

20

40

60

80

100

0 200 400 600 800 1000

p e r c e n t a g e o f w i n g a m e s ( % )

Number of runs of 100 games

’log1k_0.01’

F i g u r e 5 . 8 : P e r c e n t a g e o f w o n g a m e s d u r i n g 1 0 0 0 r u n s o f 1 0 0 g a m e s .

t h a t i t w i l l n o t b u s t , a n d i t d i s c o v e r e d b y e x p e r i e n c e t h e d o u b l e c a r d v a l u e o f t h e a c e .

F i g u r e 5 . 8 s h o w s t h e p e r c e n t a g e o f w o n g a m e s d u r i n g t h e 1 0 0 0 r u n s o f a S A R S A l e a r n e r

w i t h 0 . 0 1 - g r e e d y a c t i o n s e l e c t i o n m e c h a n i s m .

5 . 6 T D

l e a r n i n g a n d m o d e l - b a s e d m e t h o d s

T e m p o r a l - d i e r e n c e T D l e a r n i n g m e t h o d s l i k e Q - l e a r n i n g a t t e m p t t o s o l v e t h e t e m p o r a l

c r e d i t a s s i g n m e n t p r o b l e m . H o w e v e r , t h e s e m e t h o d s s u e r f r o m t h e c u r s e o f e x p o n e n t i a l

g r o w t h i n c o m p u t a t i o n t i m e a s a f u n c t i o n o f t h e n u m b e r o f s t a t e s 2 5 . A s a c o n s e q u e n c e ,

f u n c t i o n a p p r o x i m a t i o n t e c h n i q u e s h a v e b e e n u s e d t o p r o v i d e g e n e r a l i z a t i o n a c r o s s s t a t e s

a n d a c t i o n s 2 0 0 S e c t i o n 5 . 8 . N e v e r t h e l e s s , s e v e r a l m e t h o d s , s u c h a s T D a n d D y n a ,

h a v e b e e n p r o p o s e d t o d e a l w i t h t h i s p r o b l e m a n d a l l o w t a b u l a r i m p l e m e n t a t i o n s . I n

p a r t i c u l a r , l o o k - u p t a b l e s a r e e a s i e r t o i m p l e m e n t t h a n f u n c t i o n a p p r o x i m a t o r s u s e d f o r

g e n e r a l i z a t i o n S e c t i o n 5 . 8 .

F r o m a c o m p u t a t i o n a l p o i n t o f v i e w , b o t h T D a n d D y n a h e l p t h e s y s t e m l e a r n

m o r e e c i e n t l y b y u p d a t i n g a s e t o f s t a t e a c t i o n v a l u e s r a t h e r t h a n a s i n g l e v a l u e i n

e v e r y t i m e s t e p .

5 . 6 . 1 S A R S A : r e i n f o r c e m e n t l e a r n i n g w i t h e l i g i b i l i t y t r a c e s

T h e T D a l g o r i t h m , p r o p o s e d b y S u t t o n i n 1 9 7 , u s e s e l i g i b i l i t y t r a c e s t h a t s e r v e a s

a t e m p o r a r y r e c o r d o f t h e o c c u r r e n c e o f a n e v e n t , s u c h a s v i s i t i n g a s t a t e o r t a k i n g a n

a c t i o n F i g u r e 5 . 9 , h e l p i n g t h e s y s t e m t o m o r e e c i e n t l y d i s t r i b u t e r e w a r d s o r p e n a l t i e s




t o p r e v i o u s l y v i s i t e d s t a t e s o r t a k e n a c t i o n s i . e . , t o h a n d l e d e l a y e d r e w a r d s p e n a l t i e s .

I n g e n e r a l , t h e o l d e r t h e a c t i o n s o r v i s i t e d s t a t e s , t h e s m a l l e r t h e i r e e c t o n t h e r e s u l t i n g

b e h a v i o r .

if

t t

γ λe(s,a)*

s=s ,a=a tt

t

1

e(s,a) =1

otherwise

e(s ,a )

F i g u r e 5 . 9 : E x a m p l e o f e l i g i b i l i t y t r a c e s . W h e n e v e r a n a c t i o n a

t

i s t a k e n f r o m s t a t e s

t

, i t s

c o r r e s p o n d i n g t r a c e e s

t

; a

t

i s s e t t o 1 . O t h e r w i s e , t h e t r a c e d e c a y s e x p o n e n t i a l l y . a n d a r e

c o n s t a n t s i n t h e r a n g e 0 1 .

E l i g i b i l i t y t r a c e s c a n b e e a s i l y i n t e g r a t e d t o S A R S A l e a r n i n g m e t h o d s , g i v i n g r i s e t o

S A R S A . I n t h i s m e t h o d , a l l t h e Q a c t i o n v a l u e s a r e m o d i e d a f t e r e v e r y i n t e r a c t i o n

w i t h t h e e n v i r o n m e n t a s f o l l o w s :

Q s ; a = Q s ; a + r + Q s

0

; a

0

, Q s ; a e s ; a ; 5 . 7

w h e r e s i s t h e s t a t e , a i s a p o s s i b l e a c t i o n , s

0

a n d a

0

a r e t h e c o r r e s p o n d i n g p o s s i b l e n e x t

s t a t e a n d a c t i o n , r i s t h e r e w a r d , i s a s t e p - s i z e p a r a m e t e r , a n d e s ; a i s t h e e l i g i b i l i t y

t r a c e o f a c t i o n a t a k e n f r o m s t a t e s . A n e l i g i b i l i t y t r a c e i s s e t t o 1 : 0 w h e n a c t i o n a i s

t a k e n f r o m s t a t e s a n d u p d a t e d a s e s ; a =

e s ; a a f t e r e v e r y i n t e r a c t i o n w i t h t h e

e n v i r o n m e n t . i s t h e d i s c o u n t f a c t o r a n d i s a c o n s t a n t v a l u e i n t h e r a n g e 0 ; 1 .

5 . 6 . 2 D y n a - S A R S A : a m o d e l - b a s e d r e i n f o r c e m e n t l e a r n i n g

T h e D y n a m o d e l 1 9 8 i n t e g r a t e s T D a n d p l a n n i n g . I t u s e s a m o d e l o f t h e e n v i r o n m e n t

t o i m p r o v e t h e i n t e r a c t i o n w i t h t h e a c t u a l e n v i r o n m e n t . D y n a F i g u r e 5 . 1 0 a l t e r n a t e l y

o p e r a t e s o n t h e e n v i r o n m e n t a n d o n t h e l e a r n e d m o d e l o f t h e e n v i r o n m e n t : a n a c t i o n

v a l u e i s u p d a t e d a f t e r e v e r y i n t e r a c t i o n w i t h t h e w o r l d a n d a f t e r a c e r t a i n n u m b e r o f

i n t e r a c t i o n s w i t h t h e d y n a m i c a l l y c r e a t e d m o d e l o f t h e e n v i r o n m e n t t h e s e l a t t e r a r e

c a l l e d p l a n n i n g u p d a t e s . T h e f o l l o w i n g e x p r e s s i o n i s t h e D y n a - S A R S A a c t i o n v a l u e

u p d a t e :

Q s ; a = Q s ; a + r + Q s

0

; a

0

, Q s ; a ; 5 . 8

w h e r e s i s t h e s t a t e , a i s a p o s s i b l e a c t i o n , s

0

a n d a

0

a r e t h e c o r r e s p o n d i n g p o s s i b l e n e x t

s t a t e a n d a c t i o n , r i s t h e r e w a r d , a n d i s t h e s t e p - s i z e p a r a m e t e r .

I n M a r k o v i a n t a s k s , D y n a m e m o r i z e s t h e n e x t s t a t e s

0

a n d t h e c o r r e s p o n d i n g i m m e -

d i a t e r e i n f o r c e m e n t s i g n a l r r e c e i v e d a f t e r t a k i n g a c t i o n a f r o m s t a t e s . I n o t h e r w o r d s ,

a l o o k - u p t a b l e i s a d d r e s s e d b y s a n d a t o r e t r i e v e s

0

a n d r s u c h t h a t Q s ; a c o u l d b e



5 . 7 M a z e n a v i g a t i o n t a s k s 7 9

r

State

Model

TD error

experience

Planning

r

update

Simulated

Policy/value functions Action

F i g u r e 5 . 1 0 : D y n a a r c h i t e c t u r e .

u p d a t e d a s a m e n t a l r e h e a r s a l p r o c e s s . I n n o n - M a r k o v i a n t a s k s o r p a r t i a l l y o b s e r v a b l e

p r o b l e m s , t h e m o d e l o f t h e w o r l d i s b u i l t b y m e a n s o f a l o o k - u p t a b l e : f o r e a c h p a i r

s t a t e , a c t i o n , t h e m o d e l s t o r e s a l l o b s e r v e d n e x t s t a t e s a l o n g w i t h t h e i r f r e q u e n c y o f

o c c u r r e n c e a n d a n a v e r a g e o f t h e r e c e i v e d r e w a r d . W h e n u s i n g t h e m o d e l , t h e n e x t s t a t e

s

0

i s c o m p u t e d p r o b a b i l i s t i c a l l y a c c o r d i n g t o t h e o b s e r v e d f r e q u e n c i e s 1 1 3 .

T h e s e a l g o r i t h m s a r e p a r t i c u l a r l y u s e f u l i n p r o b l e m s w h e r e c o m p u t a t i o n i s n o t a

m a j o r i s s u e b u t r e a l - w o r l d e x p e r i e n c e i s v e r y c o s t l y 1 0 4 . A n u m b e r o f n e w a l g o r i t h m s

e x p l o i t i n g t h i s i d e a a n d o p t i m i z i n g t h e u s e o f t h e i n t e r n a l m o d e l o f t h e w o r l d h a v e

b e e n p r o p o s e d 1 1 , 1 4 2 , 1 5 1 , b u t w e h a v e n o t a n a l y z e d i f t h e y a r e s u i t a b l e f o r a d i g i t a l

i m p l e m e n t a t i o n .

5 . 7 M a z e n a v i g a t i o n t a s k s

M a z e t a s k s h a v e b e e n u s e d t o s t u d y t r i a l - a n d - e r r o r l e a r n i n g s i n c e t h e e a r l y w o r k o f

S h a n n o n i n t h e 1 9 5 0 s 1 9 0 a s a n a b s t r a c t i o n o f a n i m a l l e a r n i n g e x p e r i m e n t s S e c t i o n 5 . 1 .

M a z e l e a r n i n g i s p r e s e n t e d h e r e a s a n a b s t r a c t i o n o f t h e r e a l n a v i g a t i o n p r o b l e m i n m o b i l e

a u t o n o m o u s r o b o t s , d i s c u s s e d i n C h a p t e r 6 : w e h a v e a n a - p r i o r i p a r t i t i o n o f t h e s e n s o r

s p a c e o f t h e r o b o t , a p e r f e c t v i s i o n , a n d a d i s c r e t e w o r l d . A n a u t o n o m o u s r o b o t i s f a c e d

t o t h e p r o b l e m o f n d i n g a g o a l G s t a r t i n g f r o m a v a l i d p o s i t i o n S i n a l a b y r i n t h - l i k e

e n v i r o n m e n t F i g u r e 5 . 1 1 . T h e r o b o t c a n d e t e c t a n o b s t a c l e t o t h e n o r t h , s o u t h , l e f t

a n d r i g h t , a n d m a y m o v e b y o n e p o s i t i o n i n t h e s e s a m e d i r e c t i o n s . T h e p r o b l e m i s t o

n d t h e c o r r e c t a c t i o n s t o t a k e i n a g i v e n s t a t e o f t h e e n v i r o n m e n t s u c h t h a t t h e r o b o t

a v o i d s o b s t a c l e s a n d n d t h e s h o r t e s t p a t h t o t h e g o a l .

S o l v i n g t h e m a z e o f F i g u r e 5 . 1 1 i s a M a r k o v i a n t a s k i f t h e r o b o t k n o w s i t s e x a c t

p o s i t i o n w i t h i n t h e m a z e . H o w e v e r , i f t h e r o b o t d o e s n o t h a v e a c c e s s t o i t s g l o b a l p o s i t i o n

i n t h e m a z e a n d h a s t o m a k e d e c i s i o n s b a s e d o n l y o n i t s s e n s o r r e a d i n g s , i t h a s p a r t i a l

o b s e r v a b i l i t y o f i t s e n v i r o n m e n t , a n d t h e m a z e i s n o n - M a r k o v i a n . I n r e a l m o b i l e r o b o t i c s ,

t h e a g e n t h a s o n l y p a r t i a l i n f o r m a t i o n a b o u t t h e c u r r e n t s t a t e o f t h e e n v i r o n m e n t , t h a t

i s , i t d o e s n o t k n o w t h e s t a t e o f t h e w h o l e w o r l d f r o m t h e s t a t e o f t h e s e n s o r y i n p u t s a l o n e




G

S

F i g u r e 5 . 1 1 : M a z e n a v i g a t i o n t a s k . S = s t a r t , G = g o a l

i . e . , t h e o b s e r v a t i o n s . T h e a g e n t i s s a i d t o s u e r f r o m t h e p r o b l e m o f h i d d e n - s t a t e 1 1 6

o r p e r c e p t u a l a l i a s i n g 2 2 7 , a n d t h e e n v i r o n m e n t i s s a i d t o b e p a r t i a l l y o b s e r v a b l e . A

p a r t i a l l y o b s e r v a b l e n o n - M a r k o v i a n m a z e n a v i g a t i o n t a s k i s a b e t t e r a b s t r a c t i o n o f

t h e r e a l n a v i g a t i o n t a s k t h a n t h e M a r k o v i a n m a z e s . I n t h e f o l l o w i n g s e c t i o n w e p r e s e n t

a n e m p i r i c a l c o m p a r i s o n b e t w e e n S A R S A a n d D y n a - S A R S A i n b o t h M a r k o v i a n a n d

n o n - M a r k o v i a n t a s k s .

5 . 7 . 1 M a r k o v i a n m a z e l e a r n i n g

T o t e s t S A R S A a n d D y n a - S A R S A , w e u s e d t h e m a z e o f F i g u r e 5 . 1 1 a n d a r o b o t

h a v i n g a c c e s s t o i t s g l o b a l p o s i t i o n i n t h e m a z e . I n e a c h t r i a l , t h e l e a r n i n g s y s t e m h a s t o

r e a c h t h e g o a l i n l e s s t h a n 1 0 , 0 0 0 s t e p s i n o r d e r t o s u c c e e d . O t h e r w i s e , i t f a i l s , r e t u r n s

t o t h e s t a r t p o s i t i o n , a n d r e s t a r t s a n e w t r i a l . T h e s y s t e m r e c e i v e s a r e w a r d o f + 1 i f t h e

s y s t e m r e a c h e s t h e g o a l , o t h e r w i s e i t r e c e i v e s n o r e w a r d . T h e Q - v a l u e s o f t h e s y s t e m w e r e

i n i t i a l i z e d t o + 1 . 0 , w h i c h i s a n o p t i m i s t i c Q - v a l u e a n d s t i m u l a t e s e x p l o r a t i o n , s i n c e , n o

m a t t e r w h i c h a c t i o n i s i n i t i a l l y s e l e c t e d , t h e c o r r e s p o n d i n g r e w a r d i s l e s s t h a n e x p e c t e d ,

t h u s m o t i v a t i n g t h e s e l e c t i o n o f a n o t h e r a c t i o n 2 0 0 . I n o u r t e s t s , w e r s t l e t t h e l e a r n i n g

s y s t e m i n t e r a c t w i t h t h e e n v i r o n m e n t d u r i n g 1 , 0 0 0 t r i a l s . W e t h e n m e a s u r e d t h e a v e r a g e

p e r f o r m a n c e o f t h e s y s t e m i . e . , t h e n u m b e r o f s t e p s n e e d e d t o r e a c h t h e g o a l o v e r 1 0 0

r u n s , e a c h r u n c o n s i s t i n g o f 1 0 0 t r i a l s .

I n T a b l e 5 . 5 w e p r e s e n t t h e r e s u l t i n g m e a n o f s t e p s n e e d e d t o r e a c h t h e g o a l i n t h e

9 x 6 m a z e o f F i g u r e 5 . 1 1 . S A R S A 0 . 9 i . e . , = 0 : 9 a n d D y n a - S A R S A w i t h K = 1 0 K

i s t h e n u m b e r o f p l a n n i n g u p d a t e s p e r f o r m e d a f t e r e a c h t r i a l p r e s e n t e d s i m i l a r p e r f o r -

m a n c e s . I n T a b l e 5 . 5 , w e a l s o p r e s e n t t h e r e s u l t s o f b o t h a l g o r i t h m s i n a 1 8 x 1 2 m a z e . I n

t h i s c a s e , D y n a - S A R S A r e s u l t e d i n a b e t t e r m e a n o f s t e p s . F i n a l l y , a s i m i l a r 3 6 x 2 4 m a z e

w a s u s e d t o t e s t b o t h a l g o r i t h m s . D y n a - S A R S A a g a i n o b t a i n e d b e t t e r p e r f o r m a n c e .

T h e s e r e s u l t s i n d i c a t e t h a t D y n a - S A R S A p e r f o r m s b e t t e r t h a n S A R S A a s t h e s i z e o f

t h e s t a t e s p a c e i n c r e a s e s . F u r t h e r m o r e , t h e c o m p u t a t i o n a l l o a d o f S A R S A w i t h e l i g i b i l -

i t y t r a c e s i s c o n s i d e r a b l y h i g h e r t h a n t h a t o f D y n a : i n a S u n U l t r a - S p a r c 1 w o r k s t a t i o n ,

D y n a - S A R S A w i t h K = 1 0 r e q u i r e d 7 s e c o n d s t o n i s h t h e 1 0 0 r u n s i n t h e l a r g e s t m a z e ,

w h i l e S A R S A r e q u i r e d 1 1 5 9 s e c o n d s .



5 . 7 M a z e n a v i g a t i o n t a s k s 8 1

M a z e L e a r n i n g A v g s t e p s S t d - d e v M i n s t e p s S h o r t e s t

a l g o r i t h m p a t h s t e p s

9 x 6 D y n a - S A R S A K = 1 0 1 4 . 1 6 5 0 . 0 5 3 1 4 . 0 4 1 4

m a z e S A R S A 0 . 9 1 4 . 2 2 0 . 0 7 6 1 4 . 0 7 1 4

1 8 x 1 2 D y n a - S A R S A K = 1 0 2 9 . 3 9 0 . 1 0 5 2 9 . 2 2 9

m a z e S A R S A 0 . 9 3 1 . 7 8 1 . 0 5 3 1 . 2 2 9

3 6 x 2 4 D y n a - S A R S A K = 1 0 6 0 . 4 5 3 . 8 8 5 9 . 4 9 5 9

m a z e S A R S A 0 . 9 6 6 . 9 3 2 6 . 6 6 6 1 . 7 5 9

T a b l e 5 . 5 : P e r f o r m a n c e o f D y n a - S A R S A a n d S A R S A i n a M a r k o v m a z e . K i s t h e p e r f o r m e d

n u m b e r o f p l a n n i n g u p d a t e s a f t e r e a c h t r i a l .

Actions

Function approximator

Features

F i g u r e 5 . 1 2 : A p p r o x i m a t i o n o f t h e v a l u e f u n c t i o n .

5 . 7 . 2 P a r t i a l l y o b s e r v a b l e m a z e n a v i g a t i o n t a s k s

T o t e s t D y n a - S A R S A a n d S A R S A i n t o a p a r t i a l l y o b s e r v a b l e m a z e , w e u s e d S u t t o n ' s

M a r k o v m a z e 1 9 8 F i g u r e 5 . 1 1 a n d m a d e i t a p a r t i a l l y - o b s e r v a b l e M a r k o v d e c i s i o n

p r o c e s s P O M D P b y n o t a l l o w i n g t h e a g e n t t o k n o w i t s e x a c t p o s i t i o n i n t h e m a z e a s

p r o p o s e d b y L i t t m a n 1 1 9 . T h e a g e n t o b s e r v e s i t s 8 n e i g h b o r i n g g r i d s q u a r e s y i e l d i n g

2 5 6 p o s s i b l e o b s e r v a t i o n s , e v e n t h o u g h o n l y 3 0 a r e a p p l i c a b l e t o t h i s m a z e . A s w i t h t h e

M a r k o v m a z e , w e t e s t e d S A R S A 0 . 9 a n d D y n a - S A R S A w i t h K = 1 0 o n 9 x 6 , 1 8 x 1 2 , a n d

3 6 x 2 4 m a z e s .

I n t h e s e t e s t s , D y n a - S A R S A w i t h K = 1 0 l e a r n e d a p a t h o f 1 4 . 1 s t e p s i n a v e r a g e a f t e r

2 4 , 6 0 0 t r i a l s , w h i l e t h e s h o r t e s t p a t h l e a r n e d b y S A R S A 0 . 9 c o n s i s t e d o f 1 6 . 0 6 s t e p s

i n a v e r a g e a f t e r 2 9 , 6 0 0 t r i a l s . H o w e v e r , t h e p e r f o r m a n c e o f b o t h a l g o r i t h m s p r e s e n t e d

s i g n i c a n t d i e r e n c e s w h e n s e v e r a l r u n s w e r e c o n s i d e r e d : D y n a - S A R S A l e a r n e d a p a t h

o f 2 5 1 . 2 7 s t e p s i n a v e r a g e , w h i l e S A R S A 0 . 9 l e a r n e d a p a t h o f 2 3 . 8 6 s t e p s i n a v e r a g e ,

a f t e r t e s t i n g b o t h a l g o r i t h m s d u r i n g 3 0 0 r u n s o f 1 0 0 t r i a l s i . e . , 3 0 , 0 0 0 t r i a l s . T h i s

m e a n s t h e D y n a f r a m e w o r k w a s m o r e s e n s i t i v e t o p a r t i a l o b s e r v a b i l i t y a n d m o s t o f t h e

t i m e d i d n o t l e a r n a g o o d p o l i c y . O n t h e o t h e r h a n d , S A R S A d i d n o t a c h i e v e t h e

o p t i m a l p o l i c y t h e o p t i m a l m e m o r y l e s s p o l i c y n e e d s 1 4 s t e p s t o r e a c h t h e g o a l , b u t d i d

l e a r n g o o d p o l i c i e s e v e n i f t h e e n v i r o n m e n t w a s n o t M a r k o v i a n S e e L o c h e t a l . 1 2 1 f o r

r e l a t e d w o r k .




c)b)a)

21

X

Y Y

XX

Y

F i g u r e 5 . 1 3 : a T i l e c o d i n g , b a n d c c o a r s e c o d i n g o f a c o n t i n u o u s 2 D i n p u t s p a c e . S t a t e s 1

a n d 2 i n c h a v e o n e f e a t u r e i n c o m m o n t h e d a s h e d t i l e , s o t h e r e w i l l b e l i t t l e g e n e r a l i z a t i o n

b e t w e e n t h e m .

5 . 8 A p p r o x i m a t i o n o f v a l u e f u n c t i o n s

T h e p r e v i o u s s e c t i o n s h a v e i n t r o d u c e d t h e u s e o f v a l u e f u n c t i o n s t o m a p s t a t e s t o a c t i o n s

i n a l e a r n i n g s y s t e m . I n p a r t i c u l a r , i t w a s a s s u m e d t h a t a l o o k - u p t a b l e c o u l d r e p r e s e n t

s u c h a v a l u e f u n c t i o n . H o w e v e r , t h i s i s o n l y t r u e f o r t a s k s w i t h s m a l l n u m b e r s o f s t a t e s

a n d a c t i o n s , s i n c e t h e t i m e a n d t h e a m o u n t o f d a t a n e e d e d t o c o r r e c t l y l l s u c h t a b l e s

g r o w e x p o n e n t i a l l y 2 0 0 . L e a r n i n g i n l a r g e s p a c e s i s t h u s r e a l i z e d t h r o u g h g e n e r a l i z a t i o n


T h e k i n d o f g e n e r a l i z a t i o n r e q u i r e d i n r e i n f o r c e m e n t l e a r n i n g i s o f t e n c a l l e d f u n c t i o n -

a p p r o x i m a t i o n 2 0 0 , a n d a l l o w s c o m p a c t s t o r a g e o f l e a r n e d i n f o r m a t i o n a n d t r a n s f e r

o f k n o w l e d g e b e t w e e n s i m i l a r s t a t e s a n d o r a c t i o n s 1 0 4 . F u n c t i o n - a p p r o x i m a t i o n

t e c h n i q u e s i n c l u d e g l o b a l f u n c t i o n a p p r o x i m a t o r s l i k e M L P M u l t i - l a y e r P e r c e p t r o n s

n e t w o r k s , l o c a l f u n c t i o n a p p r o x i m a t o r s l i k e R B F R a d i a l B a s i s F u n c t i o n s n e t w o r k s a n d

c o a r s e - c o d i n g a p p r o a c h e s l i k e t h e C M A C C e r e b e l l a r M o d e l A r t i c u l a t i o n C o n t r o l l e r

m o d e l , u n s u p e r v i s e d c l u s t e r i n g t e c h n i q u e s , e t c .

T h e s t a n d a r d a p p r o a c h h a s b e e n t o a p p r o x i m a t e t h e v a l u e f u n c t i o n a n d t o d e t e r m i n e

a p o l i c y f r o m i t 2 0 0 F i g u r e 5 . 1 2 . H o w e v e r , s o m e r e s e a r c h e r s h a v e a l s o d e v e l o p e d

d i e r e n t a p p r o a c h e s t h a t w i l l n o t b e c o n s i d e r e d i n t h i s t h e s i s 2 0 1 , 2 3 2 . T o a p p r o x i m a t e

t h e v a l u e f u n c t i o n , a s e t o f f e a t u r e s i . e . , a r e p r e s e n t a t i o n o f t h e s t a t e i s u s e d a s i n p u t t o

t h e a p p r o x i m a t o r . A n e s t i m a t i o n o f t h e s t a t e i s t h u s c o m p u t e d b y t h e s y s t e m , a n d t h e

o u t p u t s o f t h e a p p r o x i m a t o r c o r r e s p o n d t o s t a t e - v a l u e o r s t a t e - a c t i o n p a i r e s t i m a t i o n s .

G e n e r a l i z a t i o n t e c h n i q u e s a r e a l s o n e c e s s a r y w h e n t h e s t a t e s e t o f a t a s k i s c o n -

t i n u o u s . F o r e x a m p l e , t h e s t a t e o f a m o b i l e r o b o t i s d e t e r m i n e d b y t h e r e a d i n g s o f i t s

s e n s o r s , w h i c h c o r r e s p o n d t o a n a l o g v a l u e s . A r s t m e t h o d f o r g e n e r a l i z i n g i s t o o b t a i n

a d i s c r e t e r e p r e s e n t a t i o n o f s u c h c o n t i n u o u s s t a t e v a r i a b l e s . T h i s m e t h o d i s k n o w n a s

t i l e c o d i n g a n d w i l l b e b r i e y d e s c r i b e d i n t h e f o l l o w i n g s u b s e c t i o n .

5 . 8 . 1 T i l e a n d c o a r s e c o d i n g

T i l e c o d i n g F i g u r e 5 . 1 3 a c o n s i s t s o f d e t e r m i n i n g e x h a u s t i v e p a r t i t i o n s o f t h e i n p u t

s p a c e , i . e . , o f t h e f e a t u r e s t h a t a r e u s e d t o e s t i m a t e t h e s t a t e o f t h e s y s t e m . E a c h t i l e i s

t h e r e c e p t i v e e l d o f a b i n a r y f e a t u r e i . e . , t h e f e a t u r e i s p r e s e n t o r a b s e n t a n d e x a c t l y



5 . 8 A p p r o x i m a t i o n o f v a l u e f u n c t i o n s 8 3

o n e f e a t u r e i s p r e s e n t i n e a c h t i l i n g . T h e s i m p l e s t w a y t o t i l e t h e i n p u t s p a c e i s t o d e n e

a u n i f o r m g r i d a s i n F i g u r e 5 . 1 3 a .

C o a r s e c o d i n g F i g u r e s 5 . 1 3 b , 5 . 1 3 c i s a t e c h n i q u e t h a t r e p r e s e n t s a s t a t e b y o v e r -

l a p p i n g f e a t u r e s o r r e c e p t i v e l t e r s . S i m i l a r l y , s t a t e a g g r e g a t i o n i s a t e c h n i q u e t h a t g r o u p s

s t a t e s t o g e t h e r a n d a s s o c i a t e s a c o m m o n t a b l e e n t r y a v a l u e e s t i m a t e t o e a c h g r o u p .

W h e n t h e s y s t e m i s i n a g i v e n s t a t e i n a g r o u p , t h e g r o u p ' s e n t r y i s u s e d t o d e t e r m i n e

t h e s t a t e ' s v a l u e , a n d w h e n t h e s t a t e i s u p d a t e d , t h e g r o u p ' s e n t r y i s u p d a t e d 2 0 0 .

T h e c e r e b e l l a r m o d e l o f a r t i c u l a t i o n c o n t r o l l e r C M A C 1 i s a n e x a m p l e o f c o a r s e

c o d i n g w i t h m u l t i p l e , o v e r l a p p i n g g r i d t i l i n g s . C M A C o p e r a t e s a s a c o m p l e x l o o k - u p

t a b l e t h a t c a n b e u s e d t o a p p r o x i m a t e t h e v a l u e f u n c t i o n i n r e i n f o r c e m e n t l e a r n i n g

p r o b l e m s 1 1 1 . E v e r y t i l e i s d e n e d b y q u a n t i z i n g f u n c t i o n s t h a t o p e r a t e o n e a c h i n p u t ,

w i t h e a c h q u a n t i z i n g f u n c t i o n c o r r e s p o n d i n g t o a c o m p o n e n t o f t h e d e s i r e d o u t p u t v a l u e

F i g u r e 5 . 1 4 . T h e s u m o f t h e w e i g h t s i n d e x e d b y t h e s e c o m p o n e n t s m a k e s u p t h e o u t p u t

v a l u e 2 0 6 . F o l l o w i n g t h e e x a m p l e o f F i g u r e 5 . 1 4 , i n p u t p o i n t A a c t i v a t e s t h e q u a n t i z i n g

f u n c t i o n s a , b , a n d c w i t h v a l u e s 1 , 2 , a n d 2 a l o n g t h e x i n p u t v a r i a b l e f e a t u r e a n d t h e

q u a n t i z i n g f u n c t i o n s d , e , a n d f w i t h v a l u e s 1 , 1 , a n d 1 a l o n g t h e y i n p u t v a r i a b l e . T h e

C M A C o u t p u t v a l u e f o r i n p u t A i s :

Z

A

= w

a 1 d 1

+ w

b 2 e 1

+ w

c 2 f 1

; 5 . 9

w h e r e w

a 1 d 1

i s t h e i n d e x e d w e i g h t b y t h e a c t i v a t e d c o m p o n e n t s a 1 a n d d 1 i n t h e

q u a n t i z i n g f u n c t i o n s a a n d d o f t h e r s t t i l i n g , w

b 2 e 1

i s t h e i n d e x e d w e i g h t b y t h e a c t i v a t e d

c o m p o n e n t s b 2 a n d e 1 i n t h e q u a n t i z i n g f u n c t i o n s n a n d e o f t h e s e c o n d t i l i n g , a n d

w

c 2 f 1

i s t h e i n d e x e d w e i g h t b y t h e a c t i v a t e d c o m p o n e n t s c 2 a n d f 1 i n t h e q u a n t i z i n g

f u n c t i o n o f t h e t h i r d t i l i n g .

S i m i l a r l y , t h e o u t p u t v a l u e f o r i n p u t B i s Z

B

= w

a 2 d 1

+ w

b 2 e 1

+ w

c 2 f 2

, w h i c h s h a r e s t h e

i n d e x e d w e i g h t w

b 2 e 1

w i t h Z

A

, t h e r e b y i l l u s t r a t i n g h o w C M A C g e n e r a l i z e s . T h e w e i g h t s

c a n b e u p d a t e d u s i n g T D l e a r n i n g .

5 . 8 . 2 M u l t i - L a y e r P e r c e p t r o n s M L P s

T h e M u l t i - L a y e r P e r c e p t r o n i s a p a r t i c u l a r k i n d o f f e e d - f o r w a r d a r t i c i a l n e u r a l a r c h i -

t e c t u r e S e c t i o n 2 . 4 . G i v e n a s u c i e n t n u m b e r o f h i d d e n n e u r o n s i . e . , n e u r o n s i n t h e

h i d d e n l a y e r i t h a s b e e n s h o w n t h a t a n M L P i s c a p a b l e o f a p p r o x i m a t i n g a n y n o n l i n e a r

f u n c t i o n t o a r b i t r a r y a c c u r a c y 8 9 . A g r a d i e n t - d e s c e n t m e t h o d , t y p i c a l l y t h e b a c k p r o p -

a g a t i o n a l g o r i t h m i s u s e d t o a d a p t t h e i n t e r c o n n e c t i o n w e i g h t s i n t h e M L P , s o t h a t t h e

f u n c t i o n b e i n g i m p l e m e n t e d m o r e c l o s e l y a p p r o x i m a t e s a d e s i r e d t a r g e t f u n c t i o n .

T h e u s e o f g r a d i e n t - d e s c e n t m e t h o d s w i t h r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s d a t e s

b a c k a t l e a s t t o t h e w o r k s o f A n d e r s o n a n d S u t t o n 9 , 1 9 7 . A n e x a m p l e o f t h e a p p l i c a t i o n

o f g r a d i e n t - d e s c e n t a n d r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s i s t h e T D - G a m m o n a l g o r i t h m

d e v e l o p e d b y T e s a u r o 2 0 4 . H e u s e d a t h r e e - l a y e r e d M L P n e t w o r k w i t h 8 0 h i d d e n n e u -

r o n s a n d T D l e a r n i n g t o i m p l e m e n t a B a c k g a m m o n g a m e - l e a r n i n g p r o g r a m a p r o b l e m

w i t h a b o u t 1 0

2 0

s t a t e s t h a t t r a i n e d i t s e l f . T h e p r o g r a m p l a y e d a g a i n s t i t s e l f a n d l e a r n e d

f r o m t h e o u t c o m e . I n 1 9 9 2 , T D - G a m m o n a c h i e v e d n e a r - p a r i t y a g a i n s t B a c k g a m m o n h u -

m a n g r a n d - m a s t e r B i l l R o b e r t i e a f t e r a 4 0 - g a m e t e s t s e s s i o n 2 0 5 . P e r h a p s t h e m o s t

w i d e l y - k n o w n s u c c e s s s t o r y o f r e i n f o r c e m e n t l e a r n i n g .



5 . 9 T h e i n v e r t e d p e n d u l u m p r o b l e m 8 5

s i t y d i s t r i b u t i o n o f t h e f e a t u r e s i n t h e i n p u t s p a c e a n d d e t e r m i n e t h e s i m i l a r i t y o f t w o

f e a t u r e s b a s e d o n a m e a s u r e o f d i s t a n c e i n t h e i n p u t s p a c e C h a p t e r 4 .

A l t h o u g h m a n y c l u s t e r i n g t e c h n i q u e s e x i s t i n t h e l i t e r a t u r e , w e w e r e p a r t i c u l a r l y

i n t e r e s t e d i n t h e a d a p t a t i o n o f s u c h t e c h n i q u e s f o r t h e d e v e l o p m e n t o f a n o n l i n e c l u s t e r -

i n g a l g o r i t h m , m o t i v a t e d b y t h e p o s s i b i l i t y o f a d i g i t a l i m p l e m e n t a t i o n . W e h a v e t h u s

d e v e l o p e d a n e u r a l a r c h i t e c t u r e d u b b e d F A S T F l e x i b l e A d a p t a b l e - S i z e T o p o l o g y t h a t

d y n a m i c a l l y p a r t i t i o n s t h e i n p u t s p a c e o f a s y s t e m b y s e t t i n g u p a v a r i a b l e n u m b e r o f

a d a p t a b l e r e c e p t i v e e l d s i . e . , w i t h m o d i a b l e c e n t e r s a n d s i z e s . I n t h e f o l l o w i n g s e c -

t i o n , w e w i l l d e s c r i b e h o w F A S T i s a b l e t o d y n a m i c a l l y p a r t i t i o n t h e i n p u t s p a c e o f a

n o n t r i v i a l c o n t r o l p r o b l e m t h e i n v e r t e d p e n d u l u m p r o b l e m . T h e r e s u l t i n g d y n a m i c

c o a r s e c o d i n g a l l o w t h e u s e o f a l o o k - u p t a b l e i m p l e m e n t a t i o n o f t h e a d a p t i v e h e u r i s t i c

c r i t i c A H C a l g o r i t h m t o s o l v e s u c h p r o b l e m b y r e i n f o r c e m e n t l e a r n i n g . I t s h o u l d a l s o

b e n o t e d t h a t F A S T C h a p t e r 4 i s a b l e t o d y n a m i c a l l y l o c a l i z e o v e r l a p p i n g r e c e p t i v e

e l d s i n t h e i n p u t s p a c e o f a s y s t e m , w h i c h c a n b e c o n s i d e r e d a C M A C - l i k e a d a p t i v e

c o a r s e c o d i n g t e c h n i q u e . M o r e o v e r , i f t h e a c t i v a t i o n o f a F A S T n e u r o n i s m a d e i n v e r s e l y

p r o p o r t i o n a l t o t h e d i s t a n c e b e t w e e n t h e i n p u t v e c t o r a n d t h e r e c e p t i v e e l d c e n t e r , a

F A S T n e t w o r k w i l l m e r g e t h e c h a r a c t e r i s t i c s o f t h e R B F a n d t h e C M A C t e c h n i q u e s .

5 . 9 T h e i n v e r t e d p e n d u l u m p r o b l e m

T h e i n v e r t e d p e n d u l u m F i g u r e 5 . 1 5 i s a c l a s s i c e x a m p l e o f a n i n h e r e n t l y u n s t a b l e

s y s t e m . T h i s p r o b l e m h a s o f t e n b e e n u s e d t o t e s t n e w a p p r o a c h e s t o l e a r n i n g c o n t r o l

f r o m t h e e a r l y w o r k o f W i d r o w a n d S m i t h i n t h e 1 9 6 0 s 2 3 0 t o r e c e n t s t u d i e s , s u c h a s

L i n a n d L i n ' s 1 1 5 . T h e s y s t e m c o n s i s t s o f a p e n d u l u m h i n g e d o n t h e t o p o f a c a r t ,

w h i c h i s f r e e t o m o v e w i t h i n t h e l i m i t s o f a h o r i z o n t a l t r a c k , 2 : 5 m x 2 : 5 m . T h e

p e n d u l u m i s c o n s t r a i n e d t o m o v e i n t h e v e r t i c a l p l a n e , p e r p e n d i c u l a r t o t h e c a r t ' s m o t i o n

i . e . , i t c a n n o t m o v e s i d e w a y s . T h e s t a t e o f t h e s y s t e m i s d e t e r m i n e d b y t h e p o s i t i o n

o f t h e c a r t x , t h e s p e e d o f t h e c a r t d x d t , t h e a n g l e o f t h e p e n d u l u m , a n d t h e

a n g u l a r v e l o c i t y o f t h e p e n d u l u m d d t . T h e p o s s i b l e a c t i o n s t o a t t e m p t t o m a i n t a i n

i t i n e q u i l i b r i u m a r e p u s h t o t h e r i g h t w i t h a f o r c e o f + 1 0 N e w t o n s a n d p u s h t o t h e r i g h t

w i t h a f o r c e o f - 1 0 N e w t o n s i . e . , p u s h t o t h e l e f t w i t h a f o r c e o f + 1 0 N e w t o n s .

I n o u r s i m u l a t i o n s , t h e i n v e r t e d p e n d u l u m w a s m o d e l e d b y a s e t o f d i e r e n t i a l

e q u a t i o n s a s i n 2 3 . H o w e v e r , i t i s a s s u m e d t h a t t h e n e u r o c o n t r o l l e r d o e s n o t h a v e

a n y e x p l i c i t i n f o r m a t i o n a b o u t t h e d y n a m i c s o f t h e s y s t e m a n d t h e o n l y i n f o r m a t i o n

r e g a r d i n g t h e g o a l i s t h r o u g h a n e n v i r o n m e n t a l r e i n f o r c e m e n t p a r a m e t e r , r , d e n e d a s

f o l l o w s :

r =

8

:

0 i f , 2 : 5 m x 2 : 5 m

a n d , 1 2

o

1 2

o

, 1 O t h e r w i s e :

I n t u i t i v e l y , r i n d i c a t e s w h e t h e r t h e c o n t r o l s y s t e m i s a c t i n g i n a g o o d m a n n e r 0

o r n o t - 1 . T h e i n i t i a l s t a t e o f t h e s y s t e m i s a s s u m e d t o b e x = 0 , d x = d t = 0 , = 0 ,

a n d d = d t = 0 .




f u n c t i o n , a n d r n d i s a u n i f o r m l y d i s t r i b u t e d r a n d o m n u m b e r i n t h e r a n g e 0 ; 1 . T h e

o u t p u t a c t i o n o f t h e A H C n e u r o c o n t r o l l e r i s a f o r c e o f + 1 0 N e w t o n s i f y t = + 1 o r

- 1 0 N e w t o n s i f y t = , 1 a p p l i e d t o t h e c a r t .

T h e w e i g h t m o d i c a t i o n r u l e i s a s f o l l o w s :

w

i

t + 1 = w

i

t + r t e

i

t ; 5 . 1 1

w h e r e i s a p o s i t i v e c o n s t a n t d e t e r m i n i n g t h e r a t e o f c h a n g e o f w

i

, r t i s t h e e x t e r n a l

r e i n f o r c e m e n t p a r a m e t e r , a n d e

i

t i s a n e l i g i b i l i t y t r a c e .

I n 2 3 , t h e e l i g i b i l i t y i s c o m p u t e d a s :

e

i

t + 1 = e

i

t + 1 , y t x

i

t ; 5 . 1 2

w h e r e 0 1 d e t e r m i n e s t h e d e c a y r a t e o f e

i

.

T h e p r e d i c t e d r e i n f o r c e m e n t p t i s a l s o c o m p u t e d a s a w e i g h t e d s u m o f t h e i n p u t s :

p t =

n

X

i = 1

v

i

t x

i

t 5 . 1 3

T h e v

i

w e i g h t s i . e . , t h e s t a t e v a l u e s a r e u p d a t e d a s f o l l o w s :

v

i

t + 1 = v

i

t + r t + p t , p t , 1 x

i

t ; 5 . 1 4

w h e r e i s a p o s i t i v e c o n s t a n t d e t e r m i n i n g t h e r a t e o f c h a n g e o f v

i

; 0 1 i s a

c o n s t a n t d i s c o u n t f a c t o r , a n d x

i

i s a t r a c e w h i c h a c t s m u c h l i k e t h e e l i g i b i l i t y f o r t h e

w

i

w e i g h t s . x

i

i s c o m p u t e d a s f o l l o w s :

x

i

t + 1 = x

i

t + 1 , x

i

t ; 5 . 1 5

w h e r e 0 1 d e t e r m i n e s t h e d e c a y r a t e o f x

i

.

5 . 9 . 2 F u n c t i o n a p p r o x i m a t i o n b y a d a p t i v e c l u s t e r i n g

A n a - p r i o r i p a r t i t i o n o f t h e i n p u t s p a c e l i k e t h e o n e p r e s e n t e d i n l a s t s e c t i o n i s n o t

a l w a y s f e a s i b l e a n d o f t e n r e q u i r e s a n i n d e p t h a n a l y s i s o f t h e s y s t e m . A d i e r e n t a p -

p r o a c h c o n s i s t s o f u s i n g a c l u s t e r i n g a l g o r i t h m o r m o r e c o m p l e x f u n c t i o n a p p r o x i m a t i o n

t e c h n i q u e s , a s d e s c r i b e d i n S e c t i o n 5 . 8 t o p a r t i t i o n t h e s t a t e s p a c e o f t h e s y s t e m .

W e h a v e u s e d t h e F A S T u n s u p e r v i s e d c l u s t e r i n g n e t w o r k S e c t i o n 4 t o d y n a m i c a l l y

a d a p t t h e s t r u c t u r e o f t h e n e u r o c o n t r o l l e r . F o r t h i s t a s k , a 3 D - i n p u t F A S T n e t w o r k c l u s -

t e r s t h e i n p u t s p a c e v a r i a b l e s o f t h e s y s t e m b e i n g c o n t r o l l e d F i g u r e 5 . 1 7 a n d a c t i v a t e s

o r d e a c t i v a t e s n e u r o n s i n t h e c l u s t e r i n g a n d r e i n f o r c e m e n t m o d u l e s .

I n o u r s y s t e m , d y n a m i c c l u s t e r i n g o f t h e i n p u t s p a c e c o r r e s p o n d s t o a d a p t i v e p a r -

t i t i o n i n g o f t h e s t a t e s p a c e o f t h e s y s t e m b e i n g c o n t r o l l e d i . e . , t h e i n v e r t e d p e n d u l u m .

I n s t e a d o f p r e - d e t e r m i n i n g a s e t o f r e g i o n s b o x e s i n t h e s t a t e s p a c e o f t h e s y s t e m ,

t h e u n s u p e r v i s e d a l g o r i t h m d y n a m i c a l l y n d s s u c h r e g i o n s , b y i n c r e m e n t a l l y a c t i v a t -

i n g n e u r o n s a n d d y n a m i c a l l y a d a p t i n g t h e i r b o u n d a r i e s 1 5 4 . N o t e t h a t , o n c e a F A S T

n e u r o n i s a d d e d d e l e t e d , t h e c o r r e s p o n d i n g l o o k - u p t a b l e s i n t h e r e i n f o r c e m e n t m o d u l e

i n c r e a s e d e c r e a s e i n s i z e . T h e r e f o r e , a F A S T - A H C s y s t e m c a n b e c o n s i d e r e d a s a n o n t o -

g e n i c r e i n f o r c e m e n t - b a s e d n e u r o c o n t r o l l e r i . e . , a s t r u c t u r e - a d a p t a b l e n e u r o c o n t r o l l e r .




N u m b e r o f P e r c e n t a g e o f

N e u r o n s S u c c e s s

4 7 6

5 7 2

6 9 2

7 9 3

8 9 7

9 9 8

1 0 1 0 0

T a b l e 5 . 6 : P e r c e n t a g e o f s u c c e s s f o r d i e r e n t F A S T n e t w o r k s i z e s . T h e s u c c e s s r a t e i s d e t e r -

m i n e d a f t e r 1 0 0 t e s t s , a n d t h e s y s t e m i s c o n s i d e r e d t o h a v e f a i l e d a t e s t i f i t n e e d s m o r e t h a n

1 0 0 0 t r i a l s t o b a l a n c e t h e i n v e r t e d p e n d u l u m d u r i n g o n e s i m u l a t e d h o u r .

A d a p t i v e h e u r i s t i c F A S T 1 0 - A H C

c r i t i c A H C

M e a n 1 1 5 . 4 2 6 2 . 5

1 B e s t 3 0 1 5

W o r s t 9 4 6 6 8 2

M e a n 1 3 , 0 9 4 s 4 7 5 . 9 s

2 B e s t 1 0 8 . 6 s 6 . 4 s

W o r s t 4 9 3 , 8 7 6 s 4 , 8 8 4 s

3 F a i l u r e s 1 0

T a b l e 5 . 7 : 1 I n v e r t e d p e n d u l u m b a l a n c e a t t e m p t s . 2 S i m u l a t e d t i m e n e e d e d f o r l e a r n i n g ,

i n s e c o n d s . 3 N u m b e r o f f a i l u r e s .

a w e l l - k n o w n s y s t e m a n d i t h a s b e e n s o l v e d b y n u m e r o u s m e t h o d s , i n c l u d i n g a d a p t i v e

c o n t r o l , s u p e r v i s e d n e u r a l n e t w o r k s , f u z z y l o g i c c o n t r o l , a n d g e n e t i c a l g o r i t h m s , w e a r e

n o t i n t e r e s t e d i n t h e i n v e r t e d p e n d u l u m p r o b l e m p e r s e , b u t i n i t s u s e a s a t e s t b e d f o r

t h e d e v e l o p m e n t o f d e d i c a t e d d i g i t a l h a r d w a r e f o r n e u r o c o n t r o l l e r s .

T h e s u c c e s s r a t e w a s d e t e r m i n e d a f t e r 1 0 0 t e s t s : t h e s y s t e m f a i l e d d u r i n g a t e s t

w h e n i t n e e d e d m o r e t h a n 1 0 0 0 t r i a l s t o b a l a n c e t h e i n v e r t e d p e n d u l u m d u r i n g o n e

s i m u l a t e d h o u r . W i t h a s a m p l i n g o f 0 . 0 2 s

, 1

, o n e s i m u l a t e d h o u r c o r r e s p o n d s t o 1 8 0 . 0 0 0

l e a r n i n g s t e p s . F u r t h e r s i m u l a t i o n s h a v e s h o w n t h a t t h e s i z e o f t h e n e t w o r k p l a y s a c r i t i c

r o l e i n t h e i n p u t s p a c e p a r t i t i o n . A s s h o w n o n T a b l e 5 . 7 , a 1 0 - n e u r o n F A S T n e t w o r k l e d

t o a s u c c e s s r a t e o f 1 0 0 c o m p a r e d t o 9 9 o f t h e o r i g i n a l n e u r o n - l i k e m o d e l o f B a r t o ,

S u t t o n , a n d A n d e r s o n 2 3 .

W e f o u n d t h a t o u r s y s t e m e x h i b i t s b e t t e r p e r f o r m a n c e t h a n B a r t o , S u t t o n , a n d

A n d e r s o n ' s o r i g i n a l s y s t e m a l s o w h e n c o n s i d e r i n g o t h e r d i e r e n t c r i t e r i a . F i g u r e 5 . 1 8

s h o w s t h e t o t a l n u m b e r o f l e a r n i n g s t e p s i n t h e 1 0 0 t e s t s r e q u i r e d b y t h e A H C a l g o r i t h m

a n d a c o n g u r a t i o n o f 8 F A S T n e u r o n s f o r o u r s y s t e m b e f o r e l e a r n i n g t o b a l a n c e t h e




a)

b)

0 10 20 30 40 50 60 70 80 90 1000

0.5

1

1.5

2

2.5x 10

5

T o t a l S t e p

s

0 10 20 30 40 50 60 70 80 90 1000

1

2

3

4x 10

6

T o t a l S t e p s

mean(FAST10−AHC)=2.4e+4

mean(AHC)=3.3e+5

Test number

Test number

F i g u r e 5 . 1 8 : P e r f o r m a n c e o f a o u r s y s t e m a n d o f b t h e o r i g i n a l a d a p t i v e h e u r i s t i c c r i t i c

A H C s y s t e m i n 1 0 0 d i e r e n t t e s t s o f t h e i n v e r t e d p e n d u l u m p r o b l e m . T h e F i g u r e d o e s n o t

s h o w t h e f a i l u r e c a s e a n d t w o e x t r e m e c a s e s 7 . 5 e + 6 a n d 2 4 . 7 e + 6 s t e p s o f t h e A H C a l g o r i t h m .

N o t i c e t h a t t h e n u m b e r o f i t e r a t i o n s a r e i n d i e r e n t s c a l e s .

p e n d u l u m i n 1 8 0 . 0 0 0 s t e p s 1 s t e p = 0 . 0 2 s e c o n d s . T a b l e 5 . 7 s h o w s t h a t o u r s y s t e m i s

m o r e t h a n 2 5 t i m e s f a s t e r o n a v e r a g e t h a n t h e a d a p t i v e h e u r i s t i c c r i t i c a l g o r i t h m .

T a b l e 5 . 7 a l s o s h o w s t h e m i n i m u m b e s t a n d m a x i m u m w o r s t n u m b e r o f t r i a l s

f o r l e a r n i n g , a n d t h e n u m b e r o f f a i l u r e s o u t o f t h e 1 0 0 t e s t s f o r b o t h n e u r o c o n t r o l l e r s .

T a b l e 5 . 8 s h o w s t h e a v e r a g e o f t r i a l s a n d t h e t o t a l n u m b e r o f s t e p s r e q u i r e d t o l e a r n w i t h

t h e a d a p t i v e h e u r i s t i c c r i t i c A H C a n d w i t h s e v e r a l c o n g u r a t i o n s o f o u r s y s t e m .

I t s h o u l d b e n o t e d t h a t , a l t h o u g h o n a v e r a g e t h e A H C a l g o r i t h m n e e d s f e w e r a t -

t e m p t s t o l e a r n t o b a l a n c e t h e p e n d u l u m d u r i n g o n e s i m u l a t e d h o u r , i t r e q u i r e s a m u c h

l o n g e r t i m e t h a n o u r s y s t e m . T h i s i s d u e , i n p a r t , t o t h e a d a p t a b l e p a r t i t i o n o f t h e

s t a t e s p a c e a n d t o t h e f a c t t h a t t h e e x t e r n a l r e i n f o r c e m e n t i s m o r e i n f o r m a t i v e w h e n t h e

s y s t e m f a i l s t h a n w h e n i t d o e s n o t . T h e s i g n i c a n t p e r f o r m a n c e m e a s u r e f o r t h e i n v e r t e d

p e n d u l u m p r o b l e m i s l e a r n i n g t i m e , r a t h e r t h a n n u m b e r o f f a i l u r e s . H o w e v e r , t h i s l a t t e r

m e a s u r e c a n b e o f i m p o r t a n c e i n o t h e r c l a s s e s o f p r o b l e m s , e . g . , i n o b s t a c l e - a v o i d a n c e

t a s k s f o r a u t o n o m o u s m o b i l e r o b o t s , w h e r e a l a r g e r n u m b e r o f f a i l u r e s c a n c a u s e p h y s i c a l

d a m a g e t o t h e s y s t e m .

5 . 1 0 F P G A i m p l e m e n t a t i o n o f n e u r o n - l i k e a d a p t i v e e l -

e m e n t s

T h e A H C n e t w o r k o f n e u r o n - l i k e a d a p t i v e e l e m e n t s a n d t h e F A S T u n s u p e r v i s e d c l u s t e r -

i n g n e t w o r k w e r e i m p l e m e n t e d o n a c u s t o m m a c h i n e b a s e d o n e l d p r o g r a m m a b l e g a t e



5 . 1 0 F P G A i m p l e m e n t a t i o n o f n e u r o n - l i k e a d a p t i v e e l e m e n t s 9 1

M e a n S t d _ d e v M e a n S t d _ d e v

T r i a l s T r i a l s S t e p s S t e p s S u c c e s s

A H C 1 1 5 . 4 1 3 6 . 7 6 5 4 , 7 0 0 2 . 5 e + 6 9 9

F A S T 8 - A H C 1 6 3 . 7 9 3 . 5 1 9 , 3 3 9 4 . 4 e + 4 9 7

F A S T 9 - A H C 2 0 0 . 5 9 8 . 6 1 5 , 1 6 0 2 . 7 e + 4 9 8

F A S T 1 0 - A H C 2 6 2 . 5 1 2 8 . 1 2 3 , 7 9 8 4 . 1 e + 4 1 0 0

T a b l e 5 . 8 : A v e r a g e o f t r i a l s a n d t o t a l n u m b e r o f s t e p s f o r l e a r n i n g w i t h : a a d a p t i v e h e u r i s t i c

c r i t i c , b 8 F A S T n e u r o n s a n d A H C , c 9 F A S T n e u r o n s a n d A H C , a n d d 1 0 F A S T n e u r o n s

a n d A H C .

a r r a y F P G A d e v i c e s , d e v e l o p e d i n o u r l a b o r a t o r y . I t i s c o m p o s e d o f a 6 8 E N 3 6 0 m i c r o -

c o n t r o l l e r w i t h E t h e r n e t 1 0 B a s e - T i n t e r f a c e , t w o A l t e r a F l e x 1 0 K 1 0 0 F P G A c h i p s e a c h

w i t h a p p r o x i m a t e l y 1 0 0 , 0 0 0 e q u i v a l e n t g a t e s 8 , 4 M B o f D R A M a c c e s s i b l e f r o m t h e

F P G A s , 8 M B o f D R A M a c c e s s i b l e f r o m t h e m i c r o c o n t r o l l e r , R S 2 3 2 a n d M u b u s i n t e r -

f a c e s , a n d a 2 5 M H z c l o c k . W e u s e d o n e o f t h e A l t e r a F l e x 1 0 K 1 0 0 F P G A s t o i m p l e m e n t

f o u r F A S T n e u r o n s a n d a n a d a p t i v e h e u r i s t i c c r i t i c A H C n e t w o r k w i t h 8 s y n a p s e s t h e

s e c o n d F P G A w a s n o t a v a i l a b l e a t t h e t i m e o f t h i s i m p l e m e n t a t i o n .

5 . 1 0 . 1 T h e n e u r o n - l i k e a d a p t i v e e l e m e n t s

W e h a v e i m p l e m e n t e d t h e A H C a l g o r i t h m t o c o n t r o l a s i m p l i e d v e r s i o n o f t h e w e l l

k n o w n i n v e r t e d p e n d u l u m p r o b l e m 2 3 . A s d e s c r i b e d i n s e c t i o n 2 e a c h n e u r o n - l i k e

e l e m e n t c o n s i s t o f t w o l o o k - u p t a b l e s : t h e A S E e l e m e n t s t o r e s w

i

a n d e

i

, a n d t h e A C E

e l e m e n t s t o r e s v

i

a n d x

i

. F i g u r e 5 . 1 9 s h o w s t h e i m p l e m e n t a t i o n o f t h e l o o k - u p t a b l e s a n d

t h e a r i t h m e t i c o p e r a t i o n s n e e d e d f o r t h e i r u p d a t e . T h e r e a r e a s m a n y s y n a p t i c b l o c k s

a s s y n a p s e s o n t h e n e u r o n s . O u r i m p l e m e n t a t i o n c u r r e n t l y s u p p o r t s 8 - b i t p r e c i s i o n a n d

t h e r e a r e u p t o 4 s y n a p s e s p e r n e u r o n . A l l v a r i a b l e s i n t h e a l g o r i t h m a r e c o d e d u s i n g

8 b i t s b u t t h e r a n g e o f v a l u e s t h e y r e p r e s e n t a r e d i e r e n t : w

i

2 , 8 ; 8 , v

i

2 , 1 ; 0 ,

x

i

2 0 ; 1 , a n d e

i

2 , 1 ; 1 . T h e v a l u e s o f t h e c o n s t a n t s i n t h e a l g o r i t h m a r e a l s o c o d e d

w i t h 8 - b i t p r e c i s i o n : = 1 2 7 , = 0 : 5 , = 0 : 9 5 3 1 ,

w

= 0 : 8 7 5 , a n d

v

= 0 : 7 9 6 9 .

E a c h s y n a p t i c b l o c k i n c l u d e s t w o 8 - b i t a d d e r s a n d a s i n g l e 8 - b i t s h i f t - a d d m u l t i p l i e r .

A d d i t i o n s o c c u r i n p a r a l l e l , b u t t h e m u l t i p l i c a t i o n s i n v o l v e d i n t h e l e a r n i n g p h a s e s i x

a r e e x e c u t e d s e q u e n t i a l l y .

T w o 8 - b i t b u s e s a r e p r o v i d e d t o l e t t h e s y n a p t i c b l o c k s c o m m u n i c a t e w i t h a n a c -

t i v a t i o n b l o c k , s h o w n i n F i g u r e 5 . 2 0 . T h i s l a t t e r b l o c k c o m p u t e s t h e o u t p u t a c t i v a t i o n

o f t h e A C E a n d A S E n e u r o n s . I t c o n t a i n s f o u r 8 - b i t a d d e r s , a s i n g l e 8 - b i t s h i f t - a d d

m u l t i p l i e r , a c o m p a r a t o r , a c e l l u l a r a u t o m a t a - b a s e d r a n d o m n u m b e r g e n e r a t o r 9 0 , a n d

a l i n e a r p i e c e w i s e a p p r o x i m a t i o n o f a s i g m o i d a c t i v a t i o n f u n c t i o n F i g u r e 5 . 2 1 .

I n o u r s y s t e m , t h e o u t p u t a c t i o n i s a f u n c t i o n o f t h e i n p u t s a n d t h e w e i g h t s w

i

o f

t h e a c t o r . T h e s t e e p o f t h e s i g m o i d f u n c t i o n d e t e r m i n e s t h e e x p l o r a t i o n - e x p l o i t a t i o n

r a t i o : i f t h e s i g m o i d f u n c t i o n i s t o o c l o s e t o a s t e p f u n c t i o n , t h e s y s t e m w i l l e x p l o i t

m o s t o f t h e t i m e , b u t , i f t h e s i g m o i d f u n c t i o n i s n o t t o o s t e e p , t h e s y s t e m w i l l e x p l o r e

t o o m u c h . W e h a v e e x p e r i m e n t a l l y f o u n d t h a t t h e p i e c e - w i s e l i n e a r a p p r o x i m a t i o n o f



5 . 1 0 F P G A i m p l e m e n t a t i o n o f n e u r o n - l i k e a d a p t i v e e l e m e n t s 9 3

1.0

4

0.5

4

y = 1/16x + 3/4 y = 1/16x + 1/4

y

x

y x =

8

:

1 i f x 4 ;

0 : 0 6 2 5 x + 0 : 7 5 i f 0 x 4 ;

0 : 5 i f x = 0 ;

0 : 0 6 2 5 x + 0 : 2 5 i f , 4 x 0 ;

0 i f x , 4

5 . 1 6

F i g u r e 5 . 2 1 : P i e c e - w i s e l i n e a r a p p r o x i m a t i o n o f a s i g m o i d a l a c t i v a t i o n f u n c t i o n .

F i g u r e 5 . 2 1 r e s u l t e d i n a g o o d t r a d e o . N o t e t h a t t h e v a l u e s o f t h e c o n s t a n t s o f t h e

l i n e a r a p p r o x i m a t i o n a r e p o w e r s o f t w o , a n d t h a t t h e s i g m o i d i s t h u s i m p l e m e n t e d w i t h

s h i f t a n d a d d o p e r a t i o n s .

T h e s e q u e n c e r o f t h e s y s t e m i s c o m p o s e d o f t w o n i t e s t a t e m a c h i n e s F S M w h i c h

c o n t r o l t h e s e q u e n t i a l o p e r a t i o n o f t h e s y s t e m . T h e r s t s t a t e m a c h i n e h a n d l e s t h e s y n -

c h r o n i z a t i o n o f w e i g h t a n d t r a c e u p d a t e s . T h e s e c o n d s t a t e m a c h i n e h a n d l e s t h e o u t p u t

a c t i v a t i o n c a l c u l a t i o n a n d t h e r e i n f o r c e m e n t p r e d i c t i o n , a n d f r e e z e s t h e s y s t e m w h i l e a p -

p l y i n g t h e r e s u l t i n g a c t i o n o n t h e e n v i r o n m e n t a n d r e c e i v i n g t h e e x t e r n a l r e i n f o r c e m e n t

e v a l u a t i o n o f s u c h a c t i o n .

5 . 1 0 . 2 T h e n e u r o c o n t r o l l e r

T h e n e u r o c o n t r o l l e r s y s t e m c o n s i s t s o f a n A H C n e t w o r k , a F A S T n e t w o r k , a n d a m e m o r y

i n t e r f a c e b l o c k . T h i s b l o c k c o n s i s t s o f 1 8 8 - b i t r e g i s t e r s u s e d t o m a p e v e r y i n p u t t o t h e

n e u r o c o n t r o l l e r a n d o f a n i t e s t a t e m a c h i n e t h a t h a n d l e s t h e c o m m u n i c a t i o n w i t h t h e

6 8 E N 3 6 0 m i c r o c o n t r o l l e r , w h e r e a s o f t w a r e s i m u l a t o r o f t h e i n v e r t e d p e n d u l u m d y n a m i c s

r u n s . T h e c o m m u n i c a t i o n b e t w e e n t h e h a r d w a r e d e v i c e a n d t h e m i c r o c o n t r o l l e r o c c u r s

v i a a s h a r e d d y n a m i c R A M m e m o r y . A p o l l i n g s u b r o u t i n e r u n s o n b o t h t h e 6 8 E N 3 6 0

m i c r o c o n t r o l l e r a n d t h e F P G A w h e r e i t i s i m p l e m e n t e d a s a s t a t e m a c h i n e i n o r d e r t o

g e n e r a t e t h e r e a d w r i t e c o n t r o l s i g n a l s a n d t o r e c e i v e s e n d d a t a . A d e t a i l e d d e s c r i p t i o n

o f t h e d e s i g n a n d h a r d w a r e i m p l e m e n t a t i o n o f t h e F A S T n e t w o r k c a n b e f o u n d i n 1 5 7 .

T h e w o r s t - c a s e n e u r o c o n t r o l l e r p r o c e s s i n g t i m e p e r i n p u t v e c t o r i s o n l y 1 5 2 c l o c k

c y c l e s . T h e a c t u a l t i m e d e p e n d s o n t h e n u m b e r o f m u l t i p l i c a t i o n s t o b e p e r f o r m e d d u r i n g

l e a r n i n g . H o w e v e r , t h e a c c e s s t i m e o f t h e D R A M m e m o r y s e v e n 2 5 M H z c l o c k c y c l e s

l i m i t s u s t o a b o u t 7 5 0 0 i n p u t v e c t o r s p e r s e c o n d . I n t h e n e x t c h a p t e r w e w i l l d e s c r i b e

a n e w n e u r o c o n t r o l l e r , b a s e d o n t h e F A S T a r c h i t e c t u r e a n d S A R S A - l e a r n i n g i n s t e a d o f




A H C , i n t e n d e d f o r t h e c o n t r o l o f a m o b i l e r o b o t .

5 . 1 1 S u m m a r y

A d a p t i v e o r g a n i s m s h a v e t o d e a l w i t h a p e r p e t u a l l y c h a n g i n g e n v i r o n m e n t . T h u s , i n

o r d e r t o s u r v i v e , t h e y m u s t b e a b l e t o p r e d i c t f u t u r e e v e n t s b y g e n e r a l i z i n g t h e c o n s e -

q u e n c e s o f t h e i r b e h a v i o r a l r e s p o n s e s t o s i m i l a r s i t u a t i o n s e x p e r i m e n t e d i n t h e p a s t .

T e m p o r a l - d i e r e n c e m e t h o d s a r e a c o m p u t a t i o n a l a p p r o a c h t o l e a r n t o p r e d i c t b y

t r i a l - a n d - e r r o r l e a r n i n g . S u c h m e t h o d s b e l o n g t o a w i d e r c l a s s o f a d a p t i v e t e c h n i q u e s

c a l l e d r e i n f o r c e m e n t l e a r n i n g a l g o r i t h m s , w h e r e a s y s t e m l e a r n s b y i n t e r a c t i o n w i t h t h e

e n v i r o n m e n t , w i t h o u t t h e n e e d o f a n e x t e r n a l s u p e r v i s o r . A p p l i c a t i o n s o f t h e s e l e a r n i n g

a l g o r i t h m s a r i s e i n s e q u e n t i a l - d e c i s i o n p r o c e s s e s , s u c h a s t h e d e v e l o p m e n t o f o p t i m a l

s t r a t e g i e s f o r g a m i n g a n d c o n t r o l .

R e i n f o r c e m e n t l e a r n i n g p r o b l e m s a r e u s u a l l y m o d e l e d a s M a r k o v d e c i s i o n p r o c e s s e s

M D P s , e v e n t h o u g h t h e y c a n a l s o b e u s e d i n n o n - M a r k o v i a n t a s k s . R e i n f o r c e m e n t

l e a r n i n g s y s t e m s h a v e t o d e a l w i t h t h e t e m p o r a l c r e d i t a s s i g n m e n t p r o b l e m , i . e . , h o w

t o p u n i s h o r r e w a r d a c t i o n s w h e n t h e y h a v e l o n g - l a s t i n g e e c t s , a n d t h e e x p l o r a t i o n -

e x p l o i t a t i o n d i l e m m a , i . e . , h o w t o d e c i d e w h e n t o t r y n e w a c t i o n s t o e x p l o r e i n o r d e r t o

d i s c o v e r b e t t e r a c t i o n s e l e c t i o n s f o r t h e f u t u r e 2 0 0 . A s e r i e s o f l e a r n i n g a l g o r i t h m s h a v e

b e e n d e v e l o p e d t o a t t e m p t t o s o l v e t h o s e t w o p r o b l e m s . I n p a r t i c u l a r , w e h a v e s t u d i e d

t h e m o s t c o m m o n l y u s e d r e i n f o r c e m e n t l e a r n i n g m e t h o d s : Q - l e a r n i n g , S A R S A l e a r n i n g ,

a n d t h e a d a p t i v e h e u r i s t i c c r i t i c A H C l e a r n i n g a l g o r i t h m s . W e h a v e p r e s e n t e d t h e

p r o b l e m o f g e n e r a l i z a t i o n i n c o m p l e x p r o b l e m s i . e . , p r o b l e m s w i t h l a r g e s t a t e s p a c e s ,

a n d t w o a p p r o a c h e s t h a t o p t i m i z e T D - l e a r n i n g , n a m e l y T D , a T D - l e a r n i n g m e t h o d s

w i t h m e m o r i z a t i o n o f t h e o c c u r r e n c e o f e v e n t s t h e s o - c a l l e d e l i g i b i l i t y t r a c e s , a n d D y n a ,

a n a r c h i t e c t u r e t h a t i n t e g r a t e s T D - l e a r n i n g a n d p l a n n i n g m e t h o d s .

W e h a v e u s e d t h e s e k i n d o f a l g o r i t h m s t o l e a r n s t r a t e g i e s i n t h e g a m e o f B l a c k j a c k ,

t o s o l v e m a z e t a s k s a n d t o s o l v e a n o n - t r i v i a l c o n t r o l p r o b l e m t h e i n v e r t e d p e n d u l u m

p r o b l e m . M o r e o v e r , w e c o m p a r e d t h e p e r f o r m a n c e o f s u c h a l g o r i t h m s i n M a r k o v i a n a n d

n o n - M a r k o v i a n m a z e t a s k s a n d s t u d i e d t h e i r p o s s i b i l i t y o f a d i g i t a l i m p l e m e n t a t i o n t o

d e v e l o p a h a r d w a r e - f r i e n d l y n e u r o c o n t r o l l e r a r c h i t e c t u r e .

F i n a l l y , w e u s e d h i g h - d e n s i t y p r o g r a m m a b l e l o g i c d e v i c e s F P G A s t o i m p l e m e n t

a n e u r o c o n t r o l l e r c o m p o s e d o f a n u n s u p e r v i s e d c l u s t e r i n g a l g o r i t h m F A S T a n d t h e

a d a p t i v e h e u r i s t i c c r i t i c A H C l e a r n i n g . T h e s u c c e s s f u l u s e o f t h i s n e u r o c o n t r o l l e r w i t h

t h e i n v e r t e d p e n d u l u m p r o b l e m e n c o u r a g e d u s t o d e v e l o p a n e w n e u r o c o n t r o l l e r f o r

a u t o n o m o u s m o b i l e r o b o t n a v i g a t i o n , w h i c h w i l l b e d e s c r i b e d i n t h e n e x t C h a p t e r .



9 6 6 . A N e u r o c o n t r o l l e r A r c h i t e c t u r e f o r A u t o n o m o u s R o b o t s

p l e m e n t i n g a n i n t e l l i g e n t m a c h i n e , i t w a s s o o n a p p a r e n t t h a t D e e p e r B l u e w a s n o t h i n g

b u t a v e r y p o w e r f u l c o m p u t i n g m a c h i n e w i t h t h e a b i l i t y t o e v a l u a t e 2 0 0 m i l l i o n m o v e s

p e r s e c o n d , t h a t i s , o f p a c k i n g 3 8 0 y e a r s o f h u m a n t h o u g h t i n t o 3 m i n u t e s 7 8 .

T h e r e m o v a l o f d e t a i l s , o r c o m p l i c a t i o n s , i n a g a m e l e a r n i n g p r o b l e m w a s p e r f e c t

f o r c l a s s i c a r t i c i a l i n t e l l i g e n c e t e c h n i q u e s . N e v e r t h e l e s s , s u c h m e t h o d s s o o n r e v e a l e d

t h e i r l i m i t e d p e r f o r m a n c e , p a r t i c u l a r l y w h e n d e a l i n g w i t h p r o b l e m s o t h e r t h a n g a m e s ,

a s i s t h e c a s e o f r o b o t c o n t r o l .

I n d e e d , o n c e a s y s t e m h a s t o i n t e r a c t w i t h t h e r e a l w o r l d , t h e t r u l y d i c u l t p r o b -

l e m s o f i n t e l l i g e n c e c o m e t o t h e f o r e , a n d c l a s s i c a l A I m e t h o d s d o n o t w o r k v e r y w e l l .

T h e r e f o r e , a n e w k i n d o f p r o b l e m w a s r e q u i r e t o p r o v i d e a n e w t e s t b e d f o r t h e i d e a s o f

i n t e l l i g e n c e . S u c h a p r o b l e m w a s f o u n d i n a u t o n o m o u s r o b o t c o n t r o l . I n B r o o k s ' w o r d s :

T o r e a l l y t e s t i d e a s o f i n t e l l i g e n c e i t i s i m p o r t a n t t o b u i l d c o m p l e t e a g e n t s

w h i c h o p e r a t e i n d y n a m i c e n v i r o n m e n t s u s i n g r e a l s e n s o r s 3 1 .

A s a c o n s e q u e n c e , s o m e r e s e a r c h e r s f e e l t h a t t h e u l t i m a t e g o a l o f a r t i c i a l i n t e l l i -

g e n c e r e s e a r c h i s t o d e v e l o p a u t o n o m o u s r o b o t s .

E a r l y w o r k o n r o b o t c o n t r o l w a s b a s e d o n a s e n s e - m o d e l - p l a n - a c t S M P A f r a m e -

w o r k , a s d e s c r i b e d b y B r o o k s 3 0 . T h e s y s t e m a t t e m p t e d t o r e c o v e r a s m u c h o f t h e s t a t e

o f t h e e n v i r o n m e n t a s p o s s i b l e , o p e r a t e d o n t h e i n t e r n a l r e p r e s e n t a t i o n o f t h e s t a t e u s i n g

g e n e r a l p l a n n i n g a n d r e a s o n i n g a l g o r i t h m s , a n d c h o s e a s e q u e n c e o f c o n t r o l a c t i o n s t o

i m p l e m e n t t h e s e l e c t e d p l a n . H o w e v e r , t h e c o m p l e x i t y o f d e s i g n i n g s u c h a r c h i t e c t u r e s

l e d r e s e a r c h e r s t o i n v e s t i g a t e s i m p l e r s o l u t i o n s . A r o u n d 1 9 8 4 , s o m e r e s e a r c h e r s b e g a n

t o c o n s i d e r t h e c o n t r o l o f r o b o t s u s i n g s i m p l e c o m b i n a t o r i a l c i r c u i t s p l u s a s m a l l t i m i n g

c i r c u i t r y 3 0 . T h e r e s u l t w a s t h e d e v e l o p m e n t o f a n e w a p p r o a c h c a l l e d b e h a v i o r - b a s e d

r o b o t i c s o r r e a c t i v e r o b o t i c s 1 4 , 1 5 , 3 0 .

A b e h a v i o r - b a s e d r o b o t u s e s l o w - l e v e l p r i m i t i v e p r o c e s s e s r e l a t i n g s e n s a t i o n s a n d

a c t i o n s b e h a v i o r s , h o p i n g t h a t c o m p l e x p h y s i c a l b e h a v i o r w i l l e m e r g e t h r o u g h i n t e r -

a c t i o n w i t h t h e e n v i r o n m e n t . I t u s e s t h e e n v i r o n m e n t a s i t s o w n m o d e l , c o n t i n u o u s l y

r e f e r r i n g t o i t s s e n s o r r e a d i n g s r a t h e r t h a n t o a n i n t e r n a l w o r l d m o d e l . S u c h a s y s t e m

i s t h u s s a i d t o b e r e a c t i v e t h e i n t e l l i g e n c e o f t h e s y s t e m e m e r g e s f r o m i t s i n t e r a c t i o n s

w i t h i t s e n v i r o n m e n t , s i t u a t e d t h e r o b o t d o e s n o t d e a l w i t h a b s t r a c t d e s c r i p t i o n s o f

t h e w o r l d , b u t i n t e r a c t s d i r e c t l y w i t h t h e e n v i r o n m e n t , a n d e m b o d i e d t h e r o b o t h a s a

b o d y , e x p e r i e n c e s t h e w o r l d d i r e c t l y , a n d i t s a c t i o n s h a v e i m m e d i a t e f e e d b a c k o n i t s o w n

s e n s a t i o n s 3 0 .

O n e o f t h e p r o b l e m s w i t h b e h a v i o r - b a s e d r o b o t s i s t h a t t h e c o m p o n e n t m o d u l e s

i . e . , t h e b e h a v i o r s h a v e t o b e p r o g r a m m e d b y a h u m a n d e s i g n e r 1 2 7 . N e v e r t h e l e s s ,

t h e b e h a v i o r s c o u l d b e l e a r n e d t h r o u g h t r i a l - a n d - e r r o r c o u p l e d w i t h r e w a r d p u n i s h m e n t

m e c h a n i s m , i . e . , b y r e i n f o r c e m e n t l e a r n i n g .

R e i n f o r c e m e n t l e a r n i n g h a s p r o v i d e d a l g o r i t h m s t h a t u s e e v a l u a t i o n s i g n a l s t o g u i d e

a s e a r c h f o r i m p r o v e d b e h a v i o r s . M o r e o v e r , t h e s e a l g o r i t h m s h a v e b e e n s h o w n t o a p -

p r o a c h t h e o p t i m a l p l a n s t h a t a r e d e r i v e d w i t h m o r e c o m p u t a t i o n a l e o r t f r o m e x p l i c i t

p l a n n i n g a l g o r i t h m s 1 0 2 .

T h e l e a r n i n g o f b e h a v i o r s i n a r e a c t i v e r o b o t i s a c h a l l e n g i n g p r o b l e m . W e a r e p a r t i c -

u l a r l y i n t e r e s t e d i n t h e d e v e l o p m e n t o f a n e u r o c o n t r o l l e r a r c h i t e c t u r e f o r t h e a u t o n o m o u s



6 . 1 A u t o n o m o u s r o b o t n a v i g a t i o n 9 7

n a v i g a t i o n p r o b l e m . O u r n e u r o c o n t r o l l e r i s b a s e d o n a n u n s u p e r v i s e d c l u s t e r i n g m o d -

u l e , a r e i n f o r c e m e n t l e a r n i n g m o d u l e , a n d a p l a n n i n g m o d u l e , a s w i l l b e d e t a i l e d i n t h e

p r e s e n t c h a p t e r . F i r s t , w e s t a r t b y i n t r o d u c i n g t h e p r o b l e m o f m o b i l e r o b o t n a v i g a t i o n

l e a r n i n g i n S e c t i o n 6 . 1 . I n S e c t i o n 6 . 2 w e i n t r o d u c e t h e n e u r o c o n t r o l l e r a r c h i t e c t u r e w e

h a v e d e v e l o p e d . S e c t i o n 6 . 3 d e s c r i b e s t h e d i g i t a l i m p l e m e n t a t i o n o f t h e n e u r o c o n t r o l l e r

a n d p r e s e n t s s o m e t e s t s a n d r e s u l t s . S e c t i o n 6 . 4 p r e s e n t s a n e x t e n s i o n o f t h e n e u r o -

c o n t r o l l e r a r c h i t e c t u r e w i t h t h e i n t r o d u c t i o n o f s h o r t - t e r m m e m o r i e s t o d i s a m b i g u a t e

i d e n t i c a l s e n s o r y i n p u t s o b s e r v e d i n d i e r e n t s t a t e s .

6 . 1 A u t o n o m o u s r o b o t n a v i g a t i o n

W e c a n d i s t i n g u i s h t w o t y p e s o f a p p r o a c h e s t o n a v i g a t i o n - l e a r n i n g : s k i l l - b a s e d l e a r n i n g

a n d m o d e l - b a s e d l e a r n i n g 2 0 2 . I n t h e s k i l l - b a s e d l e a r n i n g a p p r o a c h , t h e r o b o t l e a r n s t h e

s k i l l s r e q u i r e d t o a c h i e v e a s p e c i c g o a l , s u c h a s h o m i n g i n o n a t a r g e t o r g o i n g a r o u n d

i n c i r c l e s , w h i l e i n t h e m o d e l - b a s e d a p p r o a c h , a p r o c e s s o f p l a n n i n g u s i n g a n i n t e r n a l

m o d e l o f t h e w o r l d a l l o w s t h e r o b o t t o a d a p t t o d i e r e n t g o a l s .

6 . 1 . 1 T h e n a v i g a t i o n t a s k

T h e g e n e r a l f r a m e w o r k f o r a u t o n o m o u s n a v i g a t i o n a s s u m e s t h e f o l l o w i n g c o n d i t i o n s :

T h e r o b o t d o e s n o t h a v e a c c e s s t o i t s g l o b a l p o s i t i o n w i t h i n t h e w o r k s p a c e , i t

s h o u l d n a v i g a t e b a s e d e x c l u s i v e l y o n i t s l o c a l s e n s o r y i n p u t s .

T h e r e a r e n o e x p l i c i t l a n d m a r k s a c c e s s i b l e t o t h e r o b o t .

N o a - p r i o r i k n o w l e d g e o f t h e w o r k s p a c e g e o m e t r y i s a v a i l a b l e .

T h e r o b o t h a s t o b e r o b u s t w i t h r e s p e c t t o t r a n s i e n t d i s t u r b a n c e s , i n c l u d i n g n o i s e

a n d g e o m e t r i c a l c h a n g e s i n t h e w o r k s p a c e .

6 . 1 . 2 T h e e x p e r i m e n t a l s e t u p

W e h a v e u s e d t h e K h e p e r a m o b i l e r o b o t d e v e l o p e d a t t h e M i c r o c o m p u t i n g L a b o r a t o r y ,

S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y i n L a u s a n n e E P F L 1 3 9 . I t h a s a c i r c u l a r s h a p e

F i g u r e 6 . 1 , w i t h a d i a m e t e r o f 5 5 m m , a h e i g h t o f 3 0 m m , a n d a w e i g h t o f 7 0 g .

I t h a s t w o w h e e l s c o n t r o l l e d b y t w o D C m o t o r s , a n d e i g h t i n f r a r e d s e n s o r s w o r k i n g

i n a c t i v e o r p a s s i v e m o d e . I n a c t i v e m o d e t h e y e m i t i n f r a r e d l i g h t a n d m e a s u r e t h e

q u a n t i t y o f r e e c t e d l i g h t i . e . , t h e y a c t o f s e n s o r s o f p r o x i m i t y , w h i l e i n p a s s i v e m o d e

t h e y s i m p l y m e a s u r e t h e i n f r a r e d c o m p o n e n t o f a m b i e n t l i g h t g i v i n g a r o u g h e s t i m a t e

o f l i g h t i n t e n s i t y 6 1 . T h e m o b i l e r o b o t c o n t a i n s a M o t o r o l a 6 8 3 3 1 m i c r o c o n t r o l l e r , 2 5 6

K b y t e s o f R A M , 5 1 2 K b y t e s o f R O M , a n d a R S - 2 3 2 s e r i a l l i n k a t 9 6 0 0 , 1 9 2 0 0 , o r 3 8 4 0 0

B a u d . O n - b o a r d r e c h a r g e a b l e b a t t e r i e s p r o v i d e s a r o u n d 3 0 m i n u t e s o f a u t o n o m y . T h e

K h e p e r a r o b o t i s m o d u l a r : s e v e r a l e x t e n s i o n t u r r e t s w i t h C C D c a m e r a s , l i n e a r v i s i o n

s y s t e m s , g r i p p e r s , a r t i c i a l r e t i n a s , a u d i t o r y s y s t e m s , e t c . , c a n b e p l u g g e d - i n t o e x t e n d



6 . 2 L e a r n i n g i n a u t o n o m o u s r o b o t s 9 9

a) b)

F i g u r e 6 . 1 : E x p e r i m e n t a l s e t u p . a T h e K h e p e r a m o b i l e r o b o t . P h o t o b y A n d r B a d e r t s c h e r

b K h e p e r a i n i t s w o r k s p a c e c o n n e c t e d t o a h o s t c o m p u t e r f o r p o w e r s u p p l y a n d c o n t r o l o r

v i s u a l i z a t i o n .

T h e w o r k s p a c e u t i l i z e d t o e x p l o r e t h e n a v i g a t i o n - l e a r n i n g t a s k w i t h t h e K h e p e r a

m o b i l e r o b o t , w a s a 4 0 c m 4 0 c m s q u a r e - b o x m a d e o f w o o d , s h o w n i n F i g u r e 6 . 2 . A

s e t o f b r i c k s o f w o o d w e r e u s e d t o m o d i f y t h e c o n t o u r a n d t h e o b s t a c l e i n t h e c e n t e r o f

t h e a r e n a .

6 . 2 L e a r n i n g i n a u t o n o m o u s r o b o t s

P r o g r a m m i n g a n a u t o n o m o u s r o b o t s o t h a t i t r e l i a b l y a c t s i n a n u n k n o w n o r a d y n a m i c

e n v i r o n m e n t i s a d i c u l t t a s k , d u e t o t h e l a c k o f i n f o r m a t i o n d u r i n g p r o g r a m m i n g , t h e

d y n a m i c n a t u r e o f t h e e n v i r o n m e n t , a n d t h e i n h e r e n t n o i s e i n t h e r o b o t ' s s e n s o r s a n d

a c t u a t o r s 5 2 .

A s t a n d a r d a p p r o a c h t o t h e c o n t r o l o f a u t o n o m o u s r o b o t s i s t h a t o f r e a c t i v e s y s t e m s

o r b e h a v i o r - b a s e d r o b o t i c s . H o w e v e r , s u c h a p p r o a c h e s m a y n o t g e n e r a t e g o o d s o l u t i o n s

t o t h e n a v i g a t i o n p r o b l e m s i n c e t h e c o n t r o l s y s t e m r e a c t s a s a f u n c t i o n o f t h e s e n s o r ' s

r e a d i n g s a n d t h e r o b o t ' s p e r c e p t i o n i s l i m i t e d . A n i n t e r e s t i n g a p p r o a c h i s t o a d d l e a r n i n g

c a p a b i l i t i e s t o r e a c t i v e s y s t e m s 1 3 7 .

6 . 2 . 1 R e l a t e d w o r k

T h e d e v e l o p m e n t o f l e a r n i n g t e c h n i q u e s f o r m o b i l e a u t o n o m o u s r o b o t s c o n s t i t u t e s a m a -

j o r e l d o f r e s e a r c h . A l o t o f w o r k h a s b e e n d o n e r u n n i n g s i m u l a t e d r o b o t s i n s i m u l a t e d

e n v i r o n m e n t s , t h o u g h s o m e t i m e s g o o d r e s u l t s o b t a i n e d i n s u c h a w a y d o n o t h o l d t r u e i n

t h e r e a l w o r l d 5 2 . M o r e r e c e n t r e s e a r c h p l a n s t o u s e s i m u l a t i o n t o s p e e d u p t h e i n i t i a l

a d a p t a t i o n o f t h e c o n t r o l l e r 6 1 . E v o l u t i o n a r y t e c h n i q u e s h a v e b e e n s u c c e s s f u l l y u s e d



1 0 0 6 . A N e u r o c o n t r o l l e r A r c h i t e c t u r e f o r A u t o n o m o u s R o b o t s

F i g u r e 6 . 2 : T h e n a v i g a t i o n w o r k s p a c e . P h o t o b y A n d r B a d e r t s c h e r

t o a d a p t a r o b o t c o n t r o l l e r w h i l e c o n s i d e r a b l y r e d u c i n g h u m a n d e s i g n , e v e n t h o u g h t h e

d u r a t i o n o f t h e e x p e r i m e n t s i s r a t h e r l o n g 6 1 . O u r a p p r o a c h t r i e s t o s p e e d u p a d a p -

t a t i o n b y m e a n s o f l e a r n i n g b y i n t e r a c t i o n i n s t e a d o f e v o l u t i o n , a n d i s c l o s e l y r e l a t e d t o

t h e w o r k s o f Z r e h e n 2 4 3 b a s e d o n a p r o b a b i l i s t i c s e l f - o r g a n i z i n g m a p , K r s e e t a l . 1 1 2 ,

B r u s k e e t a l . 3 2 , a n d C . S c h e i e r 1 8 1 , b a s e d o n o n t o g e n i c n e u r a l s t r u c t u r e s o f R B F

u n i t s , a n d t o M i l l a n ' s i n c r e m e n t a l l e a r n i n g a p p r o a c h 1 3 7 , b a s e d o n A l p a y d i n ' s G A L

s u p e r v i s e d l e a r n i n g m o d e l 6 . H o w e v e r , s u c h w o r k s h a v e n o t c o n s i d e r e d t h e p o s s i b i l i t y

o f a d i g i t a l i m p l e m e n t a t i o n , w h i c h i s a k e y m o t i v a t i o n i n o u r r e s e a r c h .

6 . 2 . 2 H a r d w a r e f o r l e a r n i n g r o b o t s

F r o m t h e h a r d w a r e p o i n t o f v i e w , s e v e r a l p r e v i o u s w o r k s h a v e d e v e l o p e d e x t e n s i o n s

b o a r d s f o r t h e K h e p e r a m o b i l e r o b o t . L u n d e t a l . 1 2 3 d e v e l o p e d a n a u d i t o r y s y s t e m

u s e d i n r o b o t i c e x p e r i m e n t s i n c r i c k e t p h o n o t a x i s , a n d t h e r o b o t h a s b e e n t e s t e d w i t h r e a l

m a l e c r i c k e t s o f t h e s p e c i e s G r y l l u s b i m a c u l a t u s . W h e n t h e c r i c k e t s s i n g t h e c a l l i n g s o n g ,

t h e r o b o t t h a t m o d e l s a f e m a l e c r i c k e t r e s p o n d s b y t u r n i n g a n d m o v i n g d i r e c t l y t o w a r d

t h e c r i c k e t s . L p e z d e M e n e s e s 1 2 2 d e v e l o p e d a n e x t e n s i o n t u r r e t w i t h a p a n o r a m i c ,

l i n e a r a r t i c i a l r e t i n a d e v e l o p e d b y t h e C e n t r e S u i s s e d ' E l e c t r o n i q u e e t d e M i c r o t e c h -

n i q u e C S E M i n N e u c h t e l , S w i t z e r l a n d . T h o m p s o n 2 0 7 d e v e l o p e d a n F P G A - b a s e d

e x t e n s i o n t u r r e t t o r u n e v o l v a b l e h a r d w a r e e x p e r i m e n t s e . g . , t h e e v o l u t i o n a r y d e s i g n o f

e l e c t r o n i c c o n t r o l c i r c u i t s w i t h t h e K h e p e r a r o b o t .



6 . 2 L e a r n i n g i n a u t o n o m o u s r o b o t s 1 0 1

B

Update by

mental

rehearsal

of the

Model

world

control

Actions

sensorsInput Dyna

Perception to actionassociation

a d a p t i v e

c a t e g o r i z a t i o n

F A S T

Automata-based

random number generator

Cellular

growing/pruningreinforcement

signal

exploration

(by reinforcement learning)

F i g u r e 6 . 3 : N e u r o c o n t r o l l e r a r c h i t e c t u r e . I t i s c o m p o s e d o f a n a d a p t i v e c a t e g o r i z a t i o n m o d u l e

a n d a r e i n f o r c e m e n t l e a r n i n g m o d u l e . T h e r s t m o d u l e i s i m p l e m e n t e d b y t h e F A S T n e u r a l

a r c h i t e c t u r e , w h i c h u s e s a g r o w i n g p r u n i n g c o n t r o l b l o c k a n d a c e l l u l a r - a u t o m a t a - b a s e d r a n -

d o m n u m b e r g e n e r a t o r . T h e s e c o n d m o d u l e i m p l e m e n t s a D y n a - S A R S A l e a r n i n g a l g o r i t h m

w h i c h d y n a m i c a l l y c r e a t e s a m o d e l o f t h e e n v i r o n m e n t t o i n t e g r a t e T D - l e a r n i n g a n d p l a n n i n g





6 . 3 N e u r o c o n t r o l l e r a r c h i t e c t u r e f o r a u t o n o m o u s

r o b o t n a v i g a t i o n

A n a u t o n o m o u s r o b o t n e e d s n o t b e g i v e n a l l t h e d e t a i l s o f t h e e n v i r o n m e n t i n w h i c h

i t i s g o i n g t o o p e r a t e : i t w i l l a c q u i r e t h e m b y d i r e c t i n t e r a c t i o n a n d e x t r a p o l a t i o n 5 2 .

T o a c h i e v e t h i s , t h e r o b o t ' s n e u r o c o n t r o l l e r h a s t o b e a b l e t o a u t o n o m o u s l y c a t e g o r i z e

t h e i n p u t d a t a i t r e c e i v e s f r o m i t s e n v i r o n m e n t , t o h a n d l e w i t h t h e s t a b i l i t y - p l a s t i c i t y

t r a d e - o i . e . , h o w c a n i t p r e s e r v e w h a t i t h a s p r e v i o u s l y l e a r n e d , w h i l e c o n t i n u i n g t o

i n c o r p o r a t e n e w k n o w l e d g e , a n d , n a l l y , t o g e n e r a l i z e b e t w e e n s i m i l a r s i t u a t i o n s a n d

d e v e l o p a p r o p e r p o l i c y f o r a c t i o n s e l e c t i o n , b a s e d o n a n e v a l u a t i v e r e i n f o r c e m e n t s i g n a l .

F i g u r e 6 . 3 p r e s e n t s a n e u r o c o n t r o l l e r a r c h i t e c t u r e w i t h t h e a b o v e m e n t i o n e d c a p a b i l i t i e s .

I t i s c o m p o s e d , e s s e n t i a l l y , o f a n a d a p t i v e c a t e g o r i z a t i o n m o d u l e a n d a r e i n f o r c e m e n t

l e a r n i n g m o d u l e .

6 . 3 . 1 A d a p t i v e c a t e g o r i z a t i o n m o d u l e

T o a d d r e s s t h e p r o b l e m o f a d a p t i v e c a t e g o r i z a t i o n , w e u s e d t h e F l e x i b l e A d a p t a b l e - S i z e

T o p o l o g y n e u r a l n e t w o r k d e s c r i b e d i n t h i s t h e s i s C h a p t e r 4 . W h i l e F A S T i s n o t t h e

r s t n e u r a l n e t w o r k b a s e d o n a d a p t a b l e t o p o l o g y , i t i s s p e c i a l i n t h a t i t d o e s n o t r e q u i r e

i n t e n s i v e c o m p u t a t i o n t o l e a r n a n d r e c o n g u r e i t s s t r u c t u r e , a n d c a n t h u s e x i s t a s a n

o n - l i n e l e a r n i n g s t a n d - a l o n e m a c h i n e t h a t c a n b e u s e d , f o r e x a m p l e , i n r e a l - t i m e c o n t r o l

a p p l i c a t i o n s , s u c h a s r o b o t n a v i g a t i o n . I n o u r a p p r o a c h , F A S T d y n a m i c a l l y c a t e g o r i z e s

t h e 3 - d i m e n s i o n a l i n f r a - r e d s e n s o r s i g n a l s L , R , B , s e r v i n g a s a s p a r s e - c o a r s e - c o d e d f u n c -

t i o n a p p r o x i m a t o r o f t h e i n p u t s t a t e s p a c e S e c t i o n 5 . 8 , p r o v i d i n g g e n e r a l i z a t i o n , a n d ,

a t t h e s a m e t i m e , d e a l i n g w i t h t h e s t a b i l i t y - p l a s t i c i t y d i l e m m a b y l o c a l l y m o d i f y i n g t h e

w e i g h t s . I n p a r t i c u l a r , i t s h o u l d b e n o t e d t h a t o u r s y s t e m h a s t o b e a b l e t o h a n d l e t h e

c o n s t a n t l y c h a n g i n g a c t i v a t i o n o f i t s t h r e e 8 - b i t e y e s , w h i c h c o r r e s p o n d t o 2 4 b i n a r y

r e c e p t o r s t h a t c a n p r o d u c e 2

2 4

a p p r o x i m a t e l y 1 : 7 1 0

7

d i e r e n t c o m b i n a t i o n s o f o n e s

a n d z e r o s . A l t h o u g h m u c h s i m p l i e d c o m p a r e d t o t h e 1 0

8

r e c e p t o r s o f e a c h h u m a n e y e

o r t h e 2 5 6 2 5 6 r e c e p t o r s o f a C C D c a m e r a , t h i s t a s k a l l o w s t h e s t u d y o f a d a p t i v e

c a t e g o r i z a t i o n i n l e a r n i n g r o b o t s .

O u r s y s t e m h a s b e e n d e s i g n t o s u p p o r t 8 - b i t c o m p u t a t i o n , a n d a m a x i m u m n u m b e r

o f 4 0 c a t e g o r i e s w a s s e l e c t e d f o r t h i s a p p l i c a t i o n . T h e v a l u e s o f t h e F A S T l e a r n i n g

p a r a m e t e r s w e r e i n i t i a l i z e d a s f o l l o w s :

T

i n i

T

m i n

L

r

P r

m a x

P r

m i n

0 . 1 0 . 0 1 0 . 0 1 0 . 2 1 . 0 0 . 9 0 . 0 1

I n p a r t i c u l a r , i t s h o u l d b e n o t e d t h a t t h e s e p a r a m e t e r s d e t e r m i n e a v e r y s l o w d e -

c r e a s e i n t h e F A S T t h r e s h o l d s a n d a v e r y l o w r a t e o f p r u n i n g . T h e v a l u e w a s

d e t e r m i n e d o n a n e m p i r i c a l b a s i s , w h i l e t h e l o w p r u n i n g r a t e w a s i n t e n t i o n a l : d u r i n g

t h e r s t l e a r n i n g s t e p s , t h e r s t a c t i v a t e d n e u r o n s a r e s e l e c t e d r e p e a t e d l y a n d , i f t h e

s e n s i t i v i t y r e g i o n s o f t w o o r m o r e o f t h e m o v e r l a p , p r u n i n g i s v e r y l i k e l y t o o c c u r e v e n

i f P r , t h e p r o b a b i l i t y o f n o t b e i n g p r u n e d , i s v e r y h i g h . F u r t h e r d i s c u s s i o n a b o u t t h e

d y n a m i c s o f t h i s p a r t o f t h e n e u r o c o n t r o l l e r i s p r e s e n t e d i n S u b s e c t i o n 6 . 3 . 3 .



6 . 3 N e u r o c o n t r o l l e r a r c h i t e c t u r e f o r a u t o n o m o u s r o b o t n a v i g a t i o n 1 0 3

6 . 3 . 2 R e i n f o r c e m e n t l e a r n i n g m o d u l e

T o m a k e a r e a c t i v e s y s t e m l e a r n b y i n t e r a c t i n g w i t h t h e e n v i r o n m e n t , w e u s e d r e i n f o r c e -

m e n t l e a r n i n g t e c h n i q u e s 2 0 0 , w h i c h a l l o w t h e s y s t e m t o s e l e c t i v e l y r e t a i n t h e a c t i o n s

t h a t m a x i m i z e t h e r e c e i v e d r e w a r d o v e r t i m e . T h e r e i n f o r c e m e n t l e a r n i n g m o d u l e a s -

s o c i a t e s a p a r t i c u l a r a c t i o n b y m e a n s o f a s t a t e - v a l u e f u n c t i o n t o e a c h e n v i r o n m e n t a l

s i t u a t i o n , d e t e r m i n e d b y t h e l e a r n i n g s y s t e m ' s s e n s o r s a n d t h e a d a p t i v e c a t e g o r i z a t i o n

m o d u l e .

I n C h a p t e r 5 w e c o n s i d e r e d s e v e r a l r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s a n d s t u d i e d

t h e i r f e a s i b i l i t y a s a d i g i t a l i m p l e m e n t a t i o n . O u r r s t i m p l e m e n t a t i o n w a s t h e a d a p t i v e

h e u r i s t i c c r i t i c A H C a l g o r i t h m S e c t i o n 5 . 1 0 . H o w e v e r , S A R S A a n d Q - l e a r n i n g a r e

c o m p u t a t i o n a l l y l e s s i n t e n s i v e , b e c a u s e t h e a c t o r a n d t h e c r i t i c m o d u l e s a r e i m p l e m e n t e d

u s i n g t h e s a m e s e t o f v a l u e s . Q - l e a r n i n g h a s b e e n w i d e l y u s e d a n d o e r s a m a t h e m a t i c a l

p r o o f o f c o n v e r g e n c e . N e v e r t h e l e s s , s u c h p r o o f i s n o t v a l i d f o r n o n - M a r k o v i a n t a s k s ,

w h i c h i s t h e c a s e i n t h e p r o b l e m o f r o b o t n a v i g a t i o n . W e c h o s e S A R S A b e c a u s e t h e

s t a t e - a c t i o n v a l u e u p d a t e i s s i m p l e r t h a n i n Q - l e a r n i n g , w h e r e a n a d d i t i o n a l m a x i m u m

o p e r a t i o n i s n e e d e d . W e t e s t e d S A R S A a n d D y n a - S A R S A i n o u r r o b o t n a v i g a t i o n

t a s k , b u t f o c u s e d o u r s t u d i e s o n t h e D y n a v e r s i o n b e c a u s e i t i s c o m p u t a t i o n a l l y l e s s

i n t e n s i v e t h a n S A R S A , a n d i t i s w e l l s u i t e d f o r a d i g i t a l i m p l e m e n t a t i o n .

I n p a r t i c u l a r , w e i m p l e m e n t e d a D y n a - S A R S A a d a p t a t i o n f o r n o n - M a r k o v D e c i s i o n

P r o c e s s e s S u b s e c t i o n 5 . 6 . 2 . T h e D y n a f r a m e w o r k p r o t s o f a d y n a m i c a l l y c o n s t r u c t e d

m o d e l o f t h e e n v i r o n m e n t t o u p d a t e i t s b e h a v i o r o i n e . I n t a s k s w h e r e t h e c o s t o f

i n t e r a c t i n g w i t h t h e w o r l d i s h i g h , i t i s a n e c i e n t w a y t o p r o d u c e a p r o c e s s o f m e n -

t a l r e h e a r s a l o f w h a t h a s b e e n p r e v i o u s l y e x p e r i e n c e d , i n o r d e r t o a c c e l e r a t e l e a r n i n g

a l t h o u g h , i t i s d i c u l t t o s a y i f t h i s l e a r n i n g p r o c e s s i s b i o l o g i c a l l y p l a u s i b l e , a s i m i -

l a r a p p r o a c h a p p e a r s t o b e u s e d b y a t h l e t e s t o e n h a n c e t h e i r p e r f o r m a n c e . T h i s m a y

b e m i s l e a d i n g i n n o n - d e t e r m i n i s t i c e n v i r o n m e n t s , b u t a p r o p e r r a t e o f o i n e - o n l i n e u p -

d a t e s a n d v a l u e f u n c t i o n a p p r o x i m a t i o n t e c h n i q u e s c a n l e a d t o g o o d r e s u l t s , a s w i l l b e

s h o w n i n t h e n e x t s u b s e c t i o n . W e w e r e p a r t i c u l a r l y i n t e r e s t e d i n t h i s a p p r o a c h b e c a u s e

a d i g i t a l n e u r o c o n t r o l l e r o r a d i g i t a l n e u r a l c o p r o c e s s o r c a n b e r e a l i z e d t o a l l o w t h e s y s -

t e m t o r a p i d l y g e n e r a t e h u n d r e d s o f s y n t h e t i c i n t e r a c t i o n s w i t h t h e m o d e l b e t w e e n r e a l

i n t e r a c t i o n s w i t h t h e e n v i r o n m e n t .

T h e s t e p s i z e , t h e d i s c o u n t f a c t o r , a n d t h e n u m b e r o f p l a n n i n g u p d a t e s o f t h e D y n a -

S A R S A a l g o r i t h m w e r e i n i t i a l i z e d a s f o l l o w s :

K

0 . 1 0 . 9 4 0

6 . 3 . 3 D i s c u s s i o n a n d r e s u l t s

W e r s t i m p l e m e n t e d a s o f t w a r e v e r s i o n o f t h e c o m p l e t e n e u r o c o n t r o l l e r a r c h i t e c t u r e c o n -

s i d e r i n g d i g i t a l h a r d w a r e c o n s t r a i n t s . I n S e c t i o n 6 . 4 w e w i l l d e s c r i b e t h e d i g i t a l d e s i g n

a n d s o m e r e s u l t s o f a r s t p r o t o t y p e o f t h e n e u r o c o n t r o l l e r . I n t h e s o f t w a r e i m p l e m e n -

t a t i o n , w e c o n s i d e r e d 8 - b i t p r e c i s i o n a n d r e l a t e d p r o b l e m s l i k e o v e r o w , u n d e r o w a n d

t h e l i m i t e d p r e c i s i o n i n a r i t h m e t i c c o m p u t a t i o n s . T o t e s t t h e d e s c r i b e d n e u r o c o n t r o l l e r

w e u s e d t h e e x p e r i m e n t a l s e t u p d e s c r i b e d a b o v e i n S u b s e c t i o n 6 . 1 . 2 .




rr

rr

Sb

Sc

Sda1

a1

a1

Sna2r

a1

Sa

model of the

environment

Sa

Sb

Sc

Dynamic

L R

B

Obstacle

Associated actions by

reinforcement learning

K h e p

e r a

L

R

B

turn right

go forward

turn left

F i g u r e 6 . 4 : N e u r o c o n t r o l l e r d y n a m i c s . T h e F A S T - n e u r o n s r e p r e s e n t c a t e g o r i e s t h e o c t a h e -

d r o n s i n t h e s p a c e o f s e n s o r a c t i v a t i o n , w h i c h s e r v e a s a s p a r s e - c o a r s e - c o d e d f u n c t i o n a p p r o x -

i m a t o r o f t h e i n p u t s t a t e s p a c e . A m o t o r a c t i o n i s t h e n a s s o c i a t e d t o e a c h c a t e g o r y b y r e i n -

f o r c e m e n t l e a r n i n g . T h e D y n a m i c m o d e l o f t h e e n v i r o n m e n t a c c e l e r a t e s l e a r n i n g b y a m e n t a l

r e h e a r s a l m e c h a n i s m .

F o l l o w i n g t h e l e a r n i n g d y n a m i c s s h o w n i n F i g u r e 6 . 4 , t h e r o b o t s u c c e s s f u l l y l e a r n e d

a n a p p r o p r i a t e s t a t e - s p a c e p a r t i t i o n a d a p t i v e c a t e g o r i z a t i o n a n d a p e r c e p t i o n - t o - a c t i o n

m a p p i n g , s u c h t h a t t h e m o b i l e r o b o t w a s a b l e t o a v o i d o b s t a c l e s b y s t a y i n g i n a q u a s i -

c i r c u l a r p a t h a r o u n d t h e o b s t a c l e i n t h e c e n t e r o f t h e a r e n a . F u r t h e r m o r e , t h e n e u r o -

c o n t r o l l e r w a s a b l e t o g e n e r a l i z e i t s m a p p i n g s w h e n w e s l i g h t l y c h a n g e d t h e p o s i t i o n o r

t h e f o r m o f t h e o b s t a c l e i n t h e c e n t e r o f t h e a r e n a .

6 . 3 . 3 . 1 A d a p t i v e c a t e g o r i z a t i o n

I n S e c t i o n 4 . 1 w e r e f e r r e d t o t h e f o r m a t i o n o f n e u r o - o c u l a r p a t h w a y s i n a n i m a l s a s

a n e x a m p l e o f t r a n s i e n t n e u r a l p l a s t i c i t y . F A S T g r a d u a l l y r e d u c e s i t s p l a s t i c i t y a s i t s

r e c e p t i v e e l d s a p p r o a c h t h e m i n i m u m t h r e s h o l d v a l u e . M o r e o v e r , i n o u r s o f t w a r e a n d

h a r d w a r e i m p l e m e n t a t i o n s w e d e n e d a m a x i m u m s i z e f o r t h e n e t w o r k , w h i c h a l s o l i m i t s

t h e p l a s t i c b e h a v i o r o f t h e s y s t e m . A s a c o n s e q u e n c e , a f t e r a c e r t a i n c r i t i c a l p e r i o d , t h e

n e t w o r k ' s t o p o l o g y d o e s n o t c h a n g e o v e r m u c h . I f s o m e n e u r o n s a r e l e f t , t h e y w i l l b e u s e d

t o a l l o w t h e s y s t e m t o a d a p t t o p o s s i b l e f u t u r e d r a m a t i c c h a n g e s i n t h e e n v i r o n m e n t .

B u t , i f n o n e u r o n s a r e l e f t a n d w e w a n t t o a l l o w t h e s y s t e m t o a d a p t t o c h a n g e s , a

n e w m e c h a n i s m s h o u l d b e c o n s i d e r e d : f o r e x a m p l e , s o m e k i n d o f c o u n t e r t o i n d i c a t e i f

a n e u r o n h a s n o t b e e n u s e d f o r a l o n g t i m e , i n w h i c h c a s e i t m i g h t b e u s e d t o a l l o c a t e

a n e w c a t e g o r y . I n F i g u r e 6 . 5 , w e s h o w a t y p i c a l e x a m p l e o f t h e r e s u l t i n g a d a p t i v e

c a t e g o r i z a t i o n o f F A S T i n o u r m o b i l e r o b o t n a v i g a t i o n t a s k . T h e s y s t e m g e n e r a l l y u s e s

t h e w h o l e s e t o f n e u r o n s , w h i c h l i m i t s i t s c a p a c i t y o f a d a p t a t i o n t o d r a m a t i c c h a n g e s i n




0.3

0.2

0.5

0.4

0.6

0.8

1.0

0.9

0.7

0.1

F i g u r e 6 . 5 : I n p u t s t a t e s p a c e p a r t i t i o n . T h e X a n d Y a x e s c o r r e s p o n d t o t h e n o r m a l i z e d

a c t i v a t i o n o f t h e L a n d R i n p u t s e y e s o f t h e s y s t e m . T h e r h o m b i r e p r e s e n t t h e p r o j e c t i o n o f

t h e s e n s i t i v i t y r e g i o n o f t h e F A S T n e u r o n s t o t h e X Y p l a n e .

t h e e n v i r o n m e n t . N e v e r t h e l e s s , a r e a l l o c a t i n g m e c h a n i s m s i m i l a r t o t h e o n e i n t r o d u c e d

a b o v e m a y b e u s e d , o r , s o m e n e u r o n s r e s e r v e d t o b e u s e d o n l y a f t e r a c r i t i c a l p e r i o d . T h e

r h o m b i o f F i g u r e 6 . 5 r e p r e s e n t t h e p r o j e c t i o n o f t h e s e n s i t i v i t y r e g i o n o f t h e 4 0 F A S T

n e u r o n s o n t h e X Y p l a n e . S i n c e o u r s y s t e m l e a r n s t o m o v e f o r w a r d , a n d t h e g o b a c k w a r d

a c t i o n i s o n l y u s e d a s p a r t o f a p r e - w i r e d r e e x , s u c h a p r o j e c t i o n a l l o w s u s t o u n d e r s t a n d

t h e F A S T - l e a r n e d s t a t e s p a c e p a r t i t i o n . N e u r o n 2 1 , f o r e x a m p l e , c a t e g o r i z e s t h e s e n s o r

r e a d i n g s t h a t a c t i v a t e t h e R - i n p u t b y 6 0 t o 7 0 , a n d t h e L - i n p u t b y l e s s t h a n 1 0 .

I n o t h e r w o r d s , n e u r o n 2 1 i s a c t i v a t e d w h e n t h e r o b o t s e n s e s a v e r y c l o s e o b s t a c l e t o

t h e r i g h t , a n d a l m o s t n o t h i n g t o t h e l e f t . S i m i l a r l y , n e u r o n 7 w i l l b e a c t i v a t e d w h e n t h e

r o b o t s e n s e s o b s t a c l e s t o t h e r i g h t a n d t o t h e l e f t , a n d n e u r o n s 1 6 a n d n e u r o n 3 9 w h e n

n o o b s t a c l e s a r e s e n s e d . T h e r e s t o f t h e n e u r o n s a l l o w t h e r o b o t , f o r e x a m p l e , t o s t a r t

a v o i d i n g a n o b s t a c l e b y c h a n g i n g i t s o r i e n t a t i o n t o w a r d s a p a r t i c u l a r d i r e c t i o n .

I n F i g u r e 6 . 6 , w e s h o w f o u r d i e r e n t s t a t e s p a c e p a r t i t i o n s r e s u l t i n g f r o m a F A S T

d y n a m i c c a t e g o r i z a t i o n . T h e d i e r e n c e s i n t h e l e a r n e d c a t e g o r i e s a r e d u e o n t h e o n e

h a n d t o t h e e n v i r o n m e n t a l l y - g u i d e d n e u r a l c i r c u i t b u i l d i n g , a n d o n t h e o t h e r h a n d t o t h e




a) b)

0.3

0.2

0.5

0.4

0.6

0.8

1.0

0.9

0.7

0.1

0.3

0.2

0.5

0.4

0.6

0.8

1.0

0.9

0.7

0.1

0.3

0.2

0.5

0.4

0.6

0.8

1.0

0.9

0.7

0.1

0.3

0.2

0.5

0.4

0.6

0.8

1.0

0.9

0.7

0.1

c) d)

F i g u r e 6 . 6 : E x a m p l e s o f F A S T i n p u t s p a c e p a r t i t i o n . T h e X a n d Y a x e s c o r r e s p o n d t o t h e

n o r m a l i z e d a c t i v a t i o n o f t h e L a n d R i n p u t s e y e s o f t h e s y s t e m . T h e r h o m b i r e p r e s e n t t h e

p r o j e c t i o n o f t h e s e n s i t i v i t y r e g i o n o f t h e F A S T n e u r o n s t o t h e X Y p l a n e .




p r o b a b i l i s t i c n a t u r e o f t h e l e a r n i n g p r o c e s s . T h e o v e r a l l b e h a v i o r o f o u r s y s t e m r e s e m b l e s

t h e a d a p t a t i o n p r o c e s s o b s e r v e d b y H u b e l a n d W i e s e l i n n e w b o r n c a t s S e c t i o n 4 . 1 . I f

o n e o f t h e s e n s o r i n p u t s o f o u r r o b o t i s n o t s u c i e n t l y a c t i v a t e d d u r i n g i t s r s t m o m e n t s

o f l i f e , a l l n e u r a l r e s o u r c e s w i l l b e u s e d t o c a t e g o r i z e t h e a c t i v a t i o n s o f t h e o t h e r s e n s o r s .

A s a n e x a m p l e , i n F i g u r e 6 . 6 a , w e p r e s e n t a v e r y h o m o g e n e o u s i n p u t s p a c e p a r t i t i o n :

t h e F A S T r e c e p t i v e e l d s o v e r l a p a n d c o v e r a l m o s t a l l t h e i n p u t s p a c e , n o t u n l i k e a

C M A C c o a r s e - c o d i n g w i t h a d a p t i v e e n c o d i n g 5 4 . W e h a v e t h u s c a l l e d t h i s r e s u l t a

F A S T - C M A C p a r t i t i o n . I n F i g u r e 6 . 6 b , w e p r e s e n t t h e r e s u l t i n g F A S T c a t e g o r i z a t i o n o f

a r o b o t w h o s e L - i n p u t s e n s o r s w h e r e n o t s u c i e n t l y a c t i v a t e d d u r i n g l e a r n i n g , a n d a s a

c o n s e q u e n c e , w i l l r e l y o n l y o n o n e n e u r o n n e u r o n 1 3 t o s e n s e o b s t a c l e s t o t h e l e f t . I n

F i g u r e 6 . 6 c , w e p r e s e n t t h e c a s e o f a r o b o t t h a t s t a r t e d t o l e a r n t h e i n p u t s p a c e p a r t i t i o n

i n a c o r n e r o f t h e w o r k s p a c e . A b o u t h a l f o f t h e n e u r o n s a r e s i t u a t e d i n a d i a g o n a l o f t h e

X Y p l a n e , a n d a r e c o n s e q u e n t l y a c t i v a t e d w h e n o b s t a c l e s a r e s i m u l t a n e o u s l y p r e s e n t t o

t h e l e f t a n d t o t h e r i g h t . T h e r e s t o f t h e n e u r o n s c o m p e n s a t e t h e o t h e r c a s e s o f o b s t a c l e

d e t e c t i o n . F i n a l l y , i n F i g u r e 6 . 6 d , w e p r e s e n t a n i n p u t s p a c e p a r t i t i o n w i t h v e r y d i e r e n t

s i z e s i n t h e r e c e p t i v e e l d s o f t h e n e u r o n s . T h i s i s d u e t o t h e d i e r e n c e s i n t h e f r e q u e n c y

o f a c t i v a t i o n o f t h e n e u r o n s : w h i l e n e u r o n s 0 t o 9 w e r e i n i t i a l l y a c t i v a t e d d u r i n g t h e

e a r l y s t a g e s o f l e a r n i n g a n d t h u s h a v e a l a r g e t h r e s h o l d w i t h t h e e x c e p t i o n o f n e u r o n 0 ,

w h i c h h a s b e e n r e p e a t e d l y s e l e c t e d a n d t h u s h a s a s m a l l e r r e c e p t i v e e l d , n e u r o n s 1 6

t o 3 9 w h e r e a c t i v a t e d l a t e r i n t h e l e a r n i n g p r o c e s s a n d t h e i r t h r e s h o l d s w e r e i n i t i a l i z e d

t o a s m a l l v a l u e .

T h e s t a b i l i t y - p l a s t i c i t y d i l e m m a , p r e s e n t i n t h e a d a p t i v e c a t e g o r i z a t i o n p r o c e s s , i s

c r u c i a l i n t a s k s s u c h a s o u r m o b i l e r o b o t i c s a p p l i c a t i o n : f o r e x a m p l e , i f t h e l e a r n e d s e n s o r

r e a d i n g c a t e g o r i e s c o n t i n u e t o c h a n g e i n d e n i t e l y , i t w i l l b e v e r y d i c u l t t o a n t i c i p a t e

f u t u r e e v e n t s , s i n c e t h e s y s t e m w i l l n o t k n o w w h e n i t i s i n a s i t u a t i o n s i m i l a r t o o n e

e x p e r i m e n t e d i n t h e p a s t . I n o t h e r w o r d s , t h e s y s t e m d o e s n o t d e v e l o p a s t a b l e s t a t e

r e p r e s e n t a t i o n w h i c h r e n d e r s v e r y d i c u l t t h e e s t i m a t i o n o f r e w a r d s a s s o c i a t e d w i t h t h e

s y s t e m ' s a c t i o n s .

6 . 3 . 3 . 2 L e a r n i n g b y i n t e r a c t i o n

I n o u r t e s t s w i t h t h e K h e p e r a m o b i l e r o b o t , w e f o u n d D y n a a v e r y u s e f u l m e c h a n i s m

t o e n h a n c e r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s l i k e S A R S A a n d a s u s e f u l a s l e a r n i n g w i t h

e l i g i b i l i t y t r a c e s i . e . , S A R S A t o h a n d l e t h e p r o b l e m o f d e l a y e d r e w a r d : t h e r o b o t

w a s a b l e t o l e a r n a s t a t e - a c t i o n m a p p i n g t h a t e n a b l e d i t t o m o v e i n a q u a s i - c i r c u l a r p a t h

a r o u n d t h e o b s t a c l e i n t h e c e n t e r o f t h e w o r k s p a c e .

I n F i g u r e 6 . 7 , w e s h o w a t y p i c a l s t a t e - a c t i o n v a l u e f u n c t i o n , t h a t i s , a t a b l e o f

Q s ; a - v a l u e s . T h e r e a r e 4 0 s t a t e s a n d 3 p o s s i b l e a c t i o n s : a c t i o n 0 i s ' g o f o r w a r d ' ,

a c t i o n 1 i s ' g o r i g h t ' , a n d a c t i o n 2 i s ' g o l e f t ' . T h e h e i g h t o f t h e b a r s r e p r e s e n t t h e

Q - v a l u e s , w h i c h t a k e v a l u e s i n t h e r a n g e - 1 0 . I n t h i s g u r e , t h e s m a l l e r b a r s r e p r e s e n t

t h e a c t i o n s w i t h l a r g e r r e w a r d e s t i m a t e s , t h a t i s , t h e a c t i o n s t h a t a r e m o r e l i k e l y t o b e

t a k e n f r o m s u c h s t a t e . A s a n e x a m p l e , c o n s i d e r s t a t e 0 i n F i g u r e 6 . 7 . T h e a c t i o n t h a t

w i l l b e m o s t p r o b a b l y t a k e n f r o m s u c h s t a t e i s a c t i o n 0 , o r ' g o f o r w a r d ' . I n s t a t e 1 4 , t h e

s y s t e m w i l l t u r n r i g h t o r t u r n l e f t , b u t w i l l t r y t o a v o i d g o i n g f o r w a r d .

W e i n i t i a l i z e d t h e Q - t a b l e t o z e r o s e v e r y w h e r e . A s i n o u r p r e v i o u s e x p e r i e n c e s w i t h




F i g u r e 6 . 7 : S t a t e - a c t i o n f u n c t i o n v a l u e . T h e b a r s r e p r e s e n t t h e Q - v a l u e s o f s t a t e s 0 t o 3 9 a n d

a c t i o n s 0 g o f o r w a r d , a c t i o n 1 g o r i g h t , a n d a c t i o n 2 g o l e f t . T h e s m a l l e r t h e b a r , t h e

b e t t e r t h e a c t i o n t o t a k e f r o m e a c h s t a t e .

m a z e l e a r n i n g , t h i s v a l u e s c o r r e s p o n d t o o p t i m i s t i c v a l u e s o u r s y s t e m r e c e i v e s o n l y ' 0 '

o r ' - 1 ' a s r e i n f o r c e m e n t , s t i m u l a t i n g t h e e x p l o r a t i o n o f a c t i o n s d u r i n g t h e r s t s t a g e s

o f l e a r n i n g . W e f o u n d t h i s t e c h n i q u e a u s e f u l c o m p e n s a t i o n f o r t h e x e d l o w r a t e o f

e x p l o r a t i o n i n o u r s y s t e m . I n d e e d , w e u s e d a n - g r e e d y a c t i o n s e l e c t i o n m e c h a n i s m ,

w i t h e q u a l t o 0 . 0 1 . I n o t h e r w o r d s , o u r s y s t e m e x p l o i t s w i t h a p r o b a b i l i t y o f 9 9 , a n d

e x p l o r e s o n l y 1 o f t h e t i m e .

T h e D y n a m o d e l o f t h e w o r l d i s d y n a m i c a l l y c o n s t r u c t e d u s i n g a t a b l e t h a t s t o r e s

a l l o b s e r v e d n e x t s t a t e s a l o n g w i t h t h e i r f r e q u e n c y o f o c c u r r e n c e a n d a n a v e r a g e o f t h e

r e c e i v e d r e w a r d F i g u r e 6 . 8 . N o t e t h a t t h e t a k i n g o f a p a r t i c u l a r a c t i o n a

1

f r o m a

g i v e n s t a t e S

a

c a n r e s u l t i n d i e r e n t n e x t s t a t e s s

0

S

a

o r S

b

d u e t o t h e d y n a m i c s t a t e

r e p r e s e n t a t i o n a n d t h e n o n - d e t e r m i n i s t i c n a t u r e o f t h e p r o b l e m .

T h e d y n a m i c s t a t e r e p r e s e n t a t i o n i n o u r s y s t e m n o t e t h a t i t i s d e t e r m i n e d b y t h e

F A S T n e t w o r k , a n d t h a t e a c h n e w r u n o f t h e s y s t e m m a y a s s o c i a t e a p a r t i c u l a r n e u r o n

t o d i e r e n t s e n s o r r e a d i n g s r e n d e r s v e r y d i c u l t t h e c o m p a r i s o n o f v a r i o u s l e a r n e d




D

A

CS

R/~w

D

A

CS

R/~w

FPGA

Khepera mobile robot

FLASH

2Kx8

SRAM

XC40150XV

3.3V 2.5V5V

64Kx16

SRAM

D[15:8]

A[4:0]

/CSext

R/~w

initdonecclk din

K-busuP

B

RL

F i g u r e 6 . 9 : D i a g r a m o f i n t e r c o n n e c t i o n s b e t w e e n t h e r o b o t a n d t h e c o m p o n e n t s o f t h e n e u r o -

c o n t r o l l e r .

6 . 4 . 1 T h e p r i n t e d c i r c u i t b o a r d s

T w o p r i n t e d c i r c u i t b o a r d s h o s t i n g t h e n e u r o c o n t r o l l e r a r c h i t e c t u r e h a v e b e e n d e v e l o p e d

a n d t e s t e d . O n e w a s c o n c e i v e d f o r c o m m u n i c a t i o n b e t w e e n t h e K h e p e r a b u s e x t e n s i o n

a n d t h e F P G A b o a r d , a n d t o g e n e r a t e t h e 3 . 3 V a n d 2 . 5 V F P G A p o w e r v o l t a g e l e v e l s

f r o m t h e 5 V s t a n d a r d p o w e r s y s t e m o f t h e m o b i l e r o b o t . T h e s e c o n d b o a r d h o s t s t h e

F P G A , a c o n g u r a t i o n F L A S H m e m o r y , a n d t w o S R A M m e m o r i e s c o n n e c t e d t o t h e

F P G A . T h e F P G A i s a X i l i n x X C 4 0 1 5 0 X V - B G A 4 3 2 2 3 9 , c o n t a i n i n g 5 , 1 8 4 c o n g u r a b l e

l o g i c b l o c k s a n d 1 1 , 5 2 0 i p o p s a n d a l l o w i n g t h e i m p l e m e n t a t i o n o f d i g i t a l c i r c u i t s w i t h

a p p r o x i m a t e l y 1 5 0 , 0 0 0 e q u i v a l e n t g a t e s . T h e c o n g u r a t i o n m e m o r y i s a n A M 2 9 F 0 4 0

F L A S H m e m o r y o f 5 1 2 K b y t e s 4 M b i t s , s t o r i n g t h e 3 , 3 7 3 , 4 4 8 c o n g u r a t i o n b i t s o f t h e

F P G A . T h e o t h e r t w o S R A M c h i p s a r e a n I D T 7 1 0 1 6 a n d a n I D T 6 1 1 6 , s t o r i n g 1 M b i t

6 4 K x 1 6 - b i t a n d 1 6 K b i t 2 K x 8 - b i t o f i n f o r m a t i o n r e s p e c t i v e l y . T h e 1 M b i t m e m o r y

i s i n t e n d e d f o r i m p l e m e n t i n g t h e D y n a m o d e l o f w o r l d S e c t i o n 5 . 6 , w h i l e t h e o t h e r

S R A M c a n b e u s e d f o r f u t u r e e x t e n s i o n s o f t h e n e u r o c o n t r o l l e r . I n p a r t i c u l a r , w e h a v e

t h o u g h t o f u s i n g s u c h m e m o r y f o r t h e i m p l e m e n t a t i o n o f a D y n a - q u e u e a l g o r i t h m 1 5 1

a n e x t e n s i o n o f t h e D y n a a l g o r i t h m o r f o r s t o r i n g v a l u e s t o b e s h a r e d b e t w e e n t w o o r

m o r e c o n g u r a t i o n s o f t h e F P G A . F i g u r e 6 . 9 s h o w s t h e i n t e r c o n n e c t i o n s b e t w e e n t h e

r o b o t a n d t h e c o m p o n e n t s o f t h e n e u r o c o n t r o l l e r , a n d F i g u r e 6 . 1 0 s h o w s a p h o t o o f t h e

r o b o t w i t h t h e n e u r o c o n t r o l l e r ' s p r i n t e d c i r c u i t b o a r d .

6 . 4 . 2 N e u r o c o n t r o l l e r d e s i g n

W e h a v e d e s i g n e d a 1 6 - n e u r o n F A S T - D y n a - S A R S A s y s t e m . T h e 1 6 - n e u r o n F A S T s y s -

t e m i s a n e x t e n s i o n o f t h e 3 D - i n p u t F A S T n e t w o r k d e s c r i b e d i n S u b s e c t i o n 4 . 5 . 4 . T h e

i m p l e m e n t a t i o n o f t h e n e w n e t w o r k u s e d 8 5 o f t h e c o n g u r a b l e l o g i c b l o c k s C L B s

o f t h e X i l i n x X C 4 0 1 5 0 X V c h i p . T h e m a x i m a l p i n - t o - p i n d e l a y w a s a p p r o x i m a t e l y 9 0 n s

a n d t h e m i n i m u m p e r i o d w a s a p p r o x i m a t e l y 1 7 5 n s u s i n g a X C 4 0 1 5 0 X V - 9 d e v i c e , t h u s

e n a b l i n g a m a x i m u m c l o c k f r e q u e n c y o f a b o u t 5 . 5 M H z f o r a p a r t i c u l a r r u n o f t h e p a r -




F i g u r e 6 . 1 1 : O b s t a c l e a v o i d a n c e t a s k . P h o t o b y A n d r B a d e r t s c h e r

b o a r d i m p l e m e n t s t h e 1 6 - n e u r o n F A S T n e t w o r k , a n d t h e 6 8 3 3 1 m i c r o c o n t r o l l e r i n t h e

K h e p e r a r o b o t i m p l e m e n t s t h e D y n a - S A R S A l e a r n i n g a l g o r i t h m . T h e c a b l e i s o n l y u s e d

t o b r i n g p o w e r t o t h e s y s t e m a n d t o v i s u a l i z e t h e b e h a v i o r o f t h e s y s t e m f o r d e b u g g i n g .

6 . 5 N e u r o c o n t r o l l e r a r c h i t e c t u r e w i t h s h o r t - t e r m

m e m o r i e s

I n S e c t i o n 5 . 7 , w e d e s c r i b e d t h e p r o b l e m o f h a v i n g p a r t i a l i n f o r m a t i o n a b o u t t h e c u r r e n t

s t a t e o f t h e e n v i r o n m e n t i n m a z e t a s k s . S i m i l a r l y , i n m o b i l e r o b o t i c s , t h e a g e n t d o e s n o t

h a v e a c c e s s t o i t s g l o b a l p o s i t i o n i n t h e w o r k s p a c e , a n d h a s t o r e l y o n i t s o w n s e n s o r s t o

p r o p e r l y b e h a v e . M o r e o v e r , m o b i l e r o b o t s h a v e n o i s y a n d n o n - l i n e a r s e n s o r s a n d s u e r

f r o m t h e p r o b l e m o f h i d d e n - s t a t e 1 1 6 o r p e r c e p t u a l a l i a s i n g 2 2 7 w h i c h r e n d e r s t h e

p r o b l e m o f n a v i g a t i o n a n o n - M a r k o v i a n t a s k .

T h e p r o b l e m o f p a r t i a l o b s e r v a b i l i t y a n d v a l u e f u n c t i o n a p p r o x i m a t i o n a r e c l o s e l y

r e l a t e d : e v e n t h o u g h t h e y a r e n o t i d e n t i c a l , t o a r s t a p p r o x i m a t i o n t h e y s e e m t o r e q u i r e

t h e s a m e s o l u t i o n s 1 9 9 . I n o u r e x p e r i m e n t s , m o s t i s s u e s r e l a t e d t o t h i s p r o b l e m w e r e

s o l v e d b y n e u r a l n e t w o r k f u n c t i o n a p p r o x i m a t i o n . H o w e v e r , i n m o r e c o m p l e x w o r k s p a c e s ,

t h e s y s t e m m i g h t e x p e r i e n c e t h e s a m e s e n s o r y r e a d i n g s w h i l e i n d i e r e n t s i t u a t i o n s . F o r

s i m p l i c i t y , t h e m a z e t a s k s h o w n i n g u r e 6 . 1 2 i l l u s t r a t e s t h i s p r o b l e m .

W e h a v e d e v e l o p e d a n e x t e n s i o n o f t h e f u n c t i o n a p p r o x i m a t i o n a n d i n c r e m e n t a l c o n -

s t r u c t i o n o f t h e s t a t e r e p r e s e n t a t i o n i n o u r s y s t e m : t h e i d e a i s t o i n t r o d u c e a n e x p a n s i o n

o f t h e s t a t e r e p r e s e n t a t i o n o v e r s p a c e a n d t i m e , b y m e a n s o f s h o r t - t e r m m e m o r i e s t o

d i s a m b i g u a t e i d e n t i c a l s e n s o r y i n p u t s o b s e r v e d i n d i e r e n t s t a t e s F i g u r e 6 . 1 3 .

A n e w F A S T - n e u r o n i s a d d e d w h e n e v e r t h e o s c i l l a t i o n o f t h e Q - v a l u e s i . e . , t h e

e x p e c t e d r e w a r d o f a g i v e n F A S T - c a t e g o r y i s h i g h e r t h a t a c e r t a i n t h r e s h o l d . I n f a c t ,



6 . 5 N e u r o c o n t r o l l e r a r c h i t e c t u r e w i t h s h o r t - t e r m m e m o r i e s 1 1 3

GoE

Actions

GoW

GoS

GoN

Sensors of the robot

G b

a

F i g u r e 6 . 1 2 : M a z e - l i k e p a r t i a l l y o b s e r v a b l e e n v i r o n m e n t : t h e s o l e i n f o r m a t i o n f r o m t h e s e n s o r s

o f t h e r o b o t i s n o t e n o u g h t o d e t e r m i n e t h e o p t i m a l a c t i o n s i n t h e g i v e n m a z e . I n t h e c e l l

p o s i t i o n s ' a ' a n d ' b ' o f t h e m a z e , a n a b s t r a c t 4 - s e n s o r r o b o t s e n s e s o b s t a c l e s t o t h e r i g h t a n d t o

t h e s o u t h , t h o u g h t h e c o r r e s p o n d i n g o p t i m a l a c t i o n s a r e d i e r e n t : ' G o N o r t h ' a n d ' G o W e s t ' .

Q - l e a r n i n g i s s t i l l a b l e t o s o l v e a p a r t i a l l y o b s e r v a b l e p r o b l e m , b u t i t i s n o t c a p a b l e o f

n d i n g t h e o p t i m a l s o l u t i o n s . I n t h e e x a m p l e o f F i g u r e 6 . 1 2 , t h e l e a r n e d Q - v a l u e s f o r

s t a t e s ' a ' a n d ' b ' w i l l o s c i l l a t e b e c a u s e t h e r e i s n o t a u n i q u e o p t i m a l a c t i o n f o r b o t h c e l l

p o s i t i o n s . T h e r e f o r e , b y e x t e n d i n g t h e s t a t e r e p r e s e n t a t i o n o v e r t i m e , i t w i l l b e p o s s i b l e

t o a s s i g n d i e r e n t F A S T - c a t e g o r i e s t o t h e c e l l p o s i t i o n s ' a ' a n d ' b ' a n d a s s o c i a t e d i e r e n t

Q - v a l u e s s u c h t h a t t h e s y s t e m c a n s e l e c t d i e r e n t a c t i o n s .

I n o r d e r t o d i e r e n t i a t e c e l l p o s i t i o n s ' a ' a n d ' b ' w e c o m p u t e t w o v a l u e s ' A ' a n d ' B '

a s i n 1 6 9 :

A s ; a = A s ; a + Q t + 1 , A s ; a ; 6 . 3

B s ; a = B s ; a + j Q t j + 1 , B s ; a ; 6 . 4

w h e r e i s a c o n s t a n t v a l u e . A f t e r s o m e i t e r a t i o n s , i f t h e Q - v a l u e s o s c i l l a t e b e c a u s e t h e r e

i s n o t a u n i q u e o p t i m a l a c t i o n , t h e v a l u e A s ; a g e t s c l o s e t o z e r o s i n c e i t c o n s i d e r s t h e

Q s i g n , t h o u g h t h e v a l u e B s ; a c o n t i n u e t o i n c r e a s e s i n c e i t a l w a y s a d d s s o m e t h i n g

p o s i t i v e t o t h e p r e v i o u s B s ; a v a l u e . T h e r e f o r e , i f B s ; a e x c e e d s a g i v e n t h r e s h o l d ,

t w o c e l l p o s i t i o n s w i t h e q u a l e n v i r o n m e n t o b s e r v a t i o n s b u t d i e r e n t o p t i m a l a c t i o n s c a n

b e d i s a m b i g u a t e d .

F i n a l l y , a n e w s t a t e c a n b e a d d e d t o t h e l e a r n e d r e a c t i v e s y s t e m a s a f u n c t i o n o f

t h e c u r r e n t e n v i r o n m e n t ' s o b s e r v a t i o n a n d s o m e a d d i t i o n a l i n f o r m a t i o n f o r e x a m p l e ,

t h e p r e v i o u s s t a t e o f t h e e n v i r o n m e n t . T h i s i s e q u i v a l e n t t o i n t r o d u c i n g a s h o r t - t e r m

m e m o r y i n t h e F A S T - n e u r o n s , s o t h a t o n e o f t h e s e n e w F A S T - n e u r o n s i s a c t i v a t e d o n l y

i f t h e p a t t e r n o f a c t i v a t i o n o f t h e s e n s o r s i s s u c i e n t l y s i m i l a r t o t h e p a t t e r n s t o r e d

i n i t s c o r r e s p o n d i n g l o n g - t e r m m e m o r y i . e . , t h e r e f e r e n c e v e c t o r , a n d i f t h e t e m p o r a l

p a t t e r n o f a c t i v a t i o n o f n e u r o n s m a t c h e s a c e r t a i n s e q u e n c e o f s t a t e s . T h i s i s w h a t w e

h a v e c a l l e d s p a t i o t e m p o r a l F A S T c l u s t e r i n g i n C h a p t e r 4 .



6 . 6 S u m m a r y 1 1 5

t r o l l e r w a s u s e d w i t h a n a u t o n o m o u s m o b i l e r o b o t t o l e a r n t o a v o i d o b s t a c l e s b y s t a y i n g

i n a q u a s i - c i r c u l a r p a t h a r o u n d a n o b s t a c l e i n t h e c e n t e r o f a n a r e n a . T h e n e u r o c o n t r o l l e r

w a s a b l e t o g e n e r a l i z e i t s m a p p i n g s w h e n w e s l i g h t l y a l t e r e d t h e p o s i t i o n o r t h e f o r m o f

t h e o b s t a c l e i n t h e c e n t e r o f t h e a r e n a . T h e l e a r n i n g d y n a m i c s o f t h e n e u r o c o n t r o l l e r

w e r e d e s c r i b e d i n d e t a i l . T w o p r i n t e d c i r c u i t b o a r d s w e r e d e s i g n e d t o h o s t a n F P G A -

b a s e d n e u r o c o n t r o l l e r i m p l e m e n t a t i o n . T h e d e s i g n a n d s o m e i m p l e m e n t a t i o n r e s u l t s o f

a r s t p r o t o t y p e a r e d e s c r i b e d . F i n a l l y , a n e x t e n s i o n o f t h e f u n c t i o n a p p r o x i m a t i o n a n d

i n c r e m e n t a l c o n s t r u c t i o n o f t h e s t a t e r e p r e s e n t a t i o n w a s i n t r o d u c e d t o a t t e m p t t o s o l v e

t h e p r o b l e m o f p a r t i a l o b s e r v a b i l i t y o f t h e e n v i r o n m e n t i n r e a l - w o r l d w o r k s p a c e s .



C h a p t e r 7

C o n c l u s i o n s

T h e m o s t i n c o m p r e h e n s i b l e t h i n g a b o u t t h e u n i v e r s e

i s t h a t i t i s c o m p r e h e n s i b l e .

- A . E i n s t e i n

E

n g i n e e r s h a v e b e e n t r y i n g f o r a l o n g t i m e t o d e v e l o p b i o - i n s p i r e d c o m p u t i n g m a -

c h i n e s b y d r a w i n g t h e i r i n s p i r a t i o n f r o m n a t u r e . I n p a r t i c u l a r , r e s e a r c h e r s a t

t h e L o g i c S y s t e m s L a b o r a t o r y h a v e u s e d e l d - p r o g r a m m a b l e l o g i c d e v i c e s F P -

G A s t o i m p l e m e n t b i o - i n s p i r e d h a r d w a r e s y s t e m s , c a p a b l e o f e v o l u t i o n , g r o w t h , a n d

s e l f - r e p a i r 1 3 0 , a l o n g a l l t h e t h r e e a x e s o f t h e P O E m o d e l 1 9 3 . T h e f o c u s o f t h i s

t h e s i s i s t h e e p i g e n e t i c a x i s , o u r g o a l b e i n g t h e d e v e l o p m e n t o f d i g i t a l a r t i c i a l n e u r a l

n e t w o r k s w i t h o n l i n e l e a r n i n g c a p a b i l i t i e s . W e a r g u e t h a t t r u e l e a r n i n g s y s t e m s a d a p t t o

p r o b l e m s n o t o n l y b y c h a n g i n g t h e s t r e n g t h o f t h e i n t e r c o n n e c t i o n s b e t w e e n t h e i r c o m p u -

t a t i o n a l e l e m e n t s a s i s t h e c a s e i n m o s t n e u r a l n e t w o r k m o d e l s b u t a l s o b y d y n a m i c a l l y

r e c o n g u r i n g t h e i r s t r u c t u r e , a n h y p o t h e s i s w h i c h g a v e r i s e t o t h e i d e a o f d e v e l o p i n g

s t r u c t u r e - a d a p t a b l e d i g i t a l n e u r a l n e t w o r k s u s i n g e l d - p r o g r a m m a b l e l o g i c d e v i c e s .

O u r g o a l w a s m e t i n m o s t r e s p e c t s . W e h a v e d e v e l o p e d a n a r t i c i a l n e u r a l n e t -

w o r k s y s t e m w h i c h i s w e l l s u i t e d f o r d i g i t a l i m p l e m e n t a t i o n , c a l l e d F A S T f o r F l e x i b l e

A d a p t a b l e - S i z e T o p o l o g y . T h i s n e u r a l - b a s e d s y s t e m i m p l e m e n t s a n a d a p t a t i o n o f l e a r n -

i n g m o d e l s i n s p i r e d f r o m n e u r o p h y s i o l o g y a n d s t a t i s t i c a l c l u s t e r i n g t e c h n i q u e s . W h i l e

F A S T i s n o t t h e r s t n e u r a l n e t w o r k b a s e d o n s t r u c t u r e a d a p t a t i o n , i t i s s p e c i a l i n t h a t

i t d o e s n o t r e q u i r e i n t e n s i v e c o m p u t a t i o n t o l e a r n a n d a d a p t i t s s t r u c t u r e , a n d c a n t h u s

e x i s t a s a n s t a n d - a l o n e l e a r n i n g m a c h i n e t h a t c a n b e u s e d , f o r e x a m p l e , i n a r e a l - t i m e

c o n t r o l a p p l i c a t i o n . F A S T h a s b e e n c o n c e i v e d t o b e i m p l e m e n t e d u s i n g p r o g r a m m a b l e

l o g i c d e v i c e s . H o w e v e r , t h e r e c o n g u r a b i l i t y o f s u c h d e v i c e s h a s n o t y e t b e e n e x p l o i t e d .

T h e d e v e l o p m e n t o f s u c h a s y s t e m r e m a i n s a f u t u r e r e s e a r c h g o a l .

A s f a r a s o n l i n e l e a r n i n g i s c o n c e r n e d , t h e F A S T l e a r n i n g a l g o r i t h m w a s d e v e l o p e d

t o h a n d l e t h e p r o b l e m o f d y n a m i c c a t e g o r i z a t i o n o r o n l i n e c l u s t e r i n g : t h e s y s t e m r e c e i v e s

a s i n p u t a s t r e a m o f s e n s a t i o n s c o m i n g f r o m i t s e n v i r o n m e n t a n d i s a s k e d t o c o n s t r u c t a

m o d e l t o e x p l a i n t h e o b s e r v e d p r o p e r t i e s o f t h e i n p u t p a t t e r n s . N o e x t e r n a l s u p e r v i s o r

p r o v i d e s t h e d e s i r e d o u t p u t s o r r e w a r d s . T h e m o d e l m u s t r e e c t t h e p a r t i c u l a r s t a t i s t i c a l

s t r u c t u r e o f t h e o v e r a l l c o l l e c t i o n o f i n p u t p a t t e r n s . N e v e r t h e l e s s , a d i e r e n t l e a r n i n g

1 1 7



1 1 8 7 . C o n c l u s i o n s

p r o c e s s h a d t o b e c o n s i d e r e d t o a l l o w a s y s t e m t o g e n e r a t e b e h a v i o r a l r e s p o n s e s a s a

f u n c t i o n o f i t s s e n s a t i o n s . I n d e e d , o t h e r t y p e s o f l e a r n i n g , s u c h a s r e i n f o r c e m e n t l e a r n i n g ,

s e e m t o g o v e r n s p a t i a l a n d m o t o r s k i l l a c q u i s i t i o n . W e h a v e t h u s c o m b i n e d t h e c a p a b i l -

i t i e s o f t h e F A S T n e u r a l a r c h i t e c t u r e w i t h r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s t o d e v e l o p

a n e u r o c o n t r o l l e r a r c h i t e c t u r e . I n p a r t i c u l a r , w e h a v e c o u p l e d F A S T w i t h a n a d a p t i v e

h e u r i s t i c c r i t i c A H C n e t w o r k t o i m p l e m e n t a n e u r o c o n t r o l l e r t o s o l v e t h e i n v e r t e d

p e n d u l u m p r o b l e m , a n d w i t h D y n a - S A R S A l e a r n i n g t o c o n t r o l a n a u t o n o m o u s m o b i l e

r o b o t . M o r e o v e r , w e h a v e d e v i s e d a d i g i t a l i m p l e m e n t a t i o n o f t h e s e n e u r o c o n t r o l l e r s a n d

d e v e l o p e d a n F P G A b o a r d t o c o n t r o l t h e K h e p e r a m o b i l e r o b o t i n a n a v i g a t i o n - l e a r n i n g

t a s k .

A s f a r a s s t r u c t u r e a d a p t a t i o n i s c o n c e r n e d , t h e r e s u l t i n g n e u r o c o n t r o l l e r a r c h i t e c -

t u r e d o e s i n d e e d a d a p t i t s t o p o l o g y , i f o n l y t o a c e r t a i n e x t e n t : t h e F A S T a l g o r i t h m

e n t a i l s a c h a n g e i n t h e s i z e o f t h e n e t w o r k i . e . , t h e n u m b e r o f a c t i v e n e u r o n s , b u t

d o e s n o t a l l o w m o r e c o m p l e x t o p o l o g y a d a p t a t i o n s . H o w e v e r , i t s h o u l d b e n o t e d t h a t a

c h a n g e i n t h e n u m b e r o f a c t i v e n e u r o n s i n F A S T i m p l i e s f u r t h e r c h a n g e s i n t h e t o p o l o g y

o f a F A S T - b a s e d n e u r o c o n t r o l l e r . F o r e x a m p l e , i n t h e c a s e o f t h e F A S T - A H C n e u r o c o n -

t r o l l e r , t h e a c t i v a t i o n o f a n e w F A S T n e u r o n i m p l i e s t h e a c t i v a t i o n o f t w o n e w s y n a p s e s

t o t h e a c t o r a n d c r i t i c n e u r o n - l i k e e l e m e n t s c o m p o s i n g t h e A H C s y s t e m . S i m i l a r l y , i f a

F A S T n e u r o n i s d e a c t i v a t e d , i t s t w o s y n a p s e s t o g e t h e r w i t h t h e a c t o r a n d c r i t i c n e u r o n -

l i k e e l e m e n t s , w i l l a l s o b e d e a c t i v a t e d , a n d r e m a i n a v a i l a b l e f o r f u t u r e u s e . T h i s p r o c e s s

r e s e m b l e s t h e n e u r a l p l a s t i c i t y p h e n o m e n o n o b s e r v e d i n n e w b o r n c a t s : t h e n e u r o n a l c o n -

n e c t i o n s i n t h e k i t t e n s ' e y e s r e o r g a n i z e w h e n o n e e y e i s a r t i c i a l l y s u t u r e d a n d d o e s n o t

r e c e i v e n o r m a l a c t i v a t i o n s f r o m i t s e n v i r o n m e n t .

7 . 1 O r i g i n a l c o n t r i b u t i o n s

T h e d o m a i n o f b i o - i n s p i r e d s y s t e m s i s t h e r e s u l t o f t h e c o n v e r g e n c e o f i d e a s f r o m v e r y

d i v e r s e e l d s . W h i l e m y c o n t r i b u t i o n s c a n n o t b e c l a s s i e d a s a c o m p l e t e n e w d o m a i n o f

r e s e a r c h , t h i s t h e s i s i s a s a n e x a m p l e o f a m u l t i d i s c i p l i n a r y e n d e a v o r . M y m o s t o r i g i n a l

c o n t r i b u t i o n i s p r o b a b l y t h e c o n v e r g e n c e o f i d e a s f r o m u n s u p e r v i s e d l e a r n i n g , r e i n f o r c e -

m e n t l e a r n i n g , r e c o n g u r a b l e h a r d w a r e , a n d a u t o n o m o u s r o b o t i c s . I n t h i s s e c t i o n , I w i l l

d e s c r i b e m y o r i g i n a l c o n t r i b u t i o n s t o t h e d o m a i n o f b i o - i n s p i r e d s y s t e m s w i t h i n e a c h o f

t h e m a i n c h a p t e r s .

C h a p t e r 1 i n t r o d u c e s t h e P O E m o d e l o f b i o - i n s p i r e d h a r d w a r e s y s t e m s , w h i c h h e l p s

d e n e t h e f o c u s o f t h i s t h e s i s a l o n g t h e e p i g e n e t i c a x i s o f i n s p i r a t i o n . M y r e s e a r c h o n

l e a r n i n g h a r d w a r e s y s t e m s c e r t a i n l y h e l p e d t h e d e n i t i o n o f t h e P O E m o d e l . M o r e o v e r ,

I h a v e c o n t r i b u t e d w i t h t h e d e n i t i o n o f l e a r n e d a n d l e a r n i n g s y s t e m s .

C h a p t e r 2 a n d C h a p t e r 3 a r e i n t e n d e d t o p r o v i d e s o m e b a c k g r o u n d o n a r t i c i a l

n e u r a l n e t w o r k s a n d n e u r a l h a r d w a r e . M y m a i n c o n t r i b u t i o n i n t h e s e c h a p t e r s i s t o p o i n t

o u t t h e a n a l o g y b e t w e e n h a r d w a r e r e c o n g u r a b i l i t y a n d n e u r a l p l a s t i c i t y , a n d t h e f a c t

t h a t p r o g r a m m a b l e l o g i c d e v i c e s , b e s i d e s r a p i d p r o t o t y p i n g a n d f a s t o p e r a t i o n , e n a b l e

u s t o i m p l e m e n t a r t i c i a l n e u r a l s y s t e m s w i t h m o d i a b l e t o p o l o g i e s .

C h a p t e r 4 c o n t a i n s t h e d e s c r i p t i o n o f t h e F A S T n e u r a l a r c h i t e c t u r e , s t a r t i n g w i t h t h e

d e s c r i p t i o n o f s o m e i m p o r t a n t a s p e c t s d r a w n f r o m b i o l o g y , a n d c o n c l u d i n g w i t h a d i g i t a l



7 . 2 C h a l l e n g e s a n d f u r t h e r r e s e a r c h d i r e c t i o n s 1 1 9

i m p l e m e n t a t i o n o f t h e s y s t e m a n d i t s u s e f o r i m a g e p r o c e s s i n g . M y m a i n c o n t r i b u t i o n i n

t h i s c h a p t e r i s t h e a d a p t a t i o n o f e x i s t i n g s t r u c t u r e - a d a p t a b l e n e u r a l n e t w o r k s t o d e v e l o p

t h e l e a r n i n g a l g o r i t h m i m p l e m e n t e d b y t h e F A S T n e t w o r k . I n p a r t i c u l a r , w e c o n s i d e r e d

t h e d i g i t a l c o n s t r a i n t s i m p o s e d b y r e c o n g u r a b l e h a r d w a r e t o d e v e l o p a c o m p u t a t i o n a l l y

n o n - i n t e n s i v e l e a r n i n g a l g o r i t h m , s t u d i e d t h e c o n s e q u e n c e s o f n o t u s i n g a w i n n e r - t a k e - a l l

o p e r a t o r w i t h i n t h e d y n a m i c c l u s t e r i n g p r o c e s s , a n d d e v e l o p e d a p r o b a b i l i s t i c p r u n i n g

m e c h a n i s m t o c o m p e n s a t e t h i s l a c k . A n o t h e r c o n t r i b u t i o n i s t h e i m p l e m e n t a t i o n o f

F A S T u s i n g p r o g r a m m a b l e l o g i c d e v i c e s . T h i s w a s , t o o u r k n o w l e d g e , t h e r s t F P G A

i m p l e m e n t a t i o n o f a n o n - c h i p l e a r n i n g a r t i c i a l n e u r a l m o d e l w i t h m o d i a b l e t o p o l o g y .

F i n a l l y , w e p o i n t e d o u t t h e b a s i c s o f a s p a t i o t e m p o r a l c l u s t e r i n g m e c h a n i s m , b a s e d o n

t h e F A S T p r e m i s e s .

C h a p t e r 5 i s c o n c e r n e d w i t h r e i n f o r c e m e n t l e a r n i n g t e c h n i q u e s . M y r s t c o n t r i b u -

t i o n i n t h i s c h a p t e r i s d e a l i n g w i t h t h e p r o b l e m o f u s i n g m o d e r n r e i n f o r c e m e n t l e a r n i n g

t e c h n i q u e s t o l e a r n t o p l a y t h e g a m e o f B l a c k j a c k a n d a n a l y z i n g t h e l e a r n e d s t r a t e g i e s .

M y s e c o n d o r i g i n a l c o n t r i b u t i o n i s t o a n a l y z e t h e d y n a m i c s o f r e i n f o r c e m e n t l e a r n i n g

w i t h e l i g i b i l i t y t r a c e s a n d m o d e l - b a s e d r e i n f o r c e m e n t l e a r n i n g f r o m t h e c o m p u t a t i o n a l

p o i n t o f v i e w , a n d t o p e r f o r m a c o m p a r i s o n o f s u c h t e c h n i q u e s i n M a r k o v i a n a n d n o n -

M a r k o v i a n t a s k s . T h e r e s u l t o f s u c h c o m p a r i s o n i s t h e d e v e l o p m e n t o f t h e n e u r o c o n t r o l l e r

a r c h i t e c t u r e d e s c r i b e d i n C h a p t e r 6 . M y n a l c o n t r i b u t i o n i n t h i s c h a p t e r i s t h e d e s i g n ,

h a r d w a r e r e a l i z a t i o n , a n d t e s t o f a n e u r o c o n t r o l l e r i m p l e m e n t i n g a F A S T a n d a n a d a p t i v e

h e u r i s t i c c r i t i c A H C a r c h i t e c t u r e .

C h a p t e r 6 p r e s e n t s a n e u r o c o n t r o l l e r a r c h i t e c t u r e f o r a u t o n o m o u s m o b i l e r o b o t n a v -

i g a t i o n . M y m a i n c o n t r i b u t i o n i s t h e s y n t h e s i s o f a l l p r e v i o u s i d e a s i n t h e d e v e l o p m e n t o f

a m o d u l a r a r c h i t e c t u r e i m p l e m e n t i n g a F A S T a n d a m o d e l - b a s e d r e i n f o r c e m e n t l e a r n i n g

a l g o r i t h m D y n a - S A R S A . A n o t h e r o r i g i n a l c o n t r i b u t i o n i s t h e d e s i g n o f a n F P G A - b o a r d

t o h o s t t h e n e u r o c o n t r o l l e r a r c h i t e c t u r e . I w a s p a r t i c u l a r l y i n t e r e s t e d i n t h e i d e a o f p r o -

v i d i n g a h a r d w a r e c o p r o c e s s o r t h a t a l l o w s a s y s t e m t o r e a l i z e , a t e l e c t r o n i c s p e e d s , a

s o r t o f a ' m e n t a l r e h e a r s a l ' p r o c e s s t o a m e l i o r a t e i t s b e h a v i o r .

7 . 2 C h a l l e n g e s a n d f u r t h e r r e s e a r c h d i r e c t i o n s

T h e r e a r e m a n y i n t e r e s t i n g i s s u e s t h a t a r e c r u c i a l f o r f u r t h e r d e v e l o p m e n t o f t h e e p i -

g e n e t i c a x i s o f b i o - i n s p i r e d h a r d w a r e s y s t e m s , a n d p a r t i c u l a r l y o f a u t o n o m o u s l e a r n i n g

s y s t e m s . I n t h i s s e c t i o n I w i l l t r y t o p o i n t o u t s o m e o f t h e m o s t i m p o r t a n t i s s u e s r e l a t e d

t o t h i s t h e s i s .

7 . 2 . 1 E x t e n d i n g F A S T

F A S T h a s b e e n s h o w n t o b e a f a s t l e a r n i n g a l t e r n a t i v e f o r p a t t e r n c l u s t e r i n g t a s k s . H o w -

e v e r , t o a l l o w t h e d e v e l o p m e n t o f a d e q u a t e c l u s t e r i n g i n c o m p l i c a t e d p r o b a b i l i t y d e n s i t y

d i s t r i b u t i o n s o f t h e d a t a , i t w o u l d b e i n t e r e s t i n g t o s t o r e a s e t o f t w o d i e r e n t t h r e s h o l d s

p e r u n i t , s o t h a t t h e s h a p e o f t h e s e n s i t i v i t y r e g i o n s w o u l d b e c l o s e r t o t h e e l l i p s o i d s

o f s t a t i s t i c a l c l u s t e r i n g t e c h n i q u e s . T h e p r e l i m i n a r y r e s u l t s o n n e u r o c o n t r o l l e r s t r u c t u r e

a d a p t a t i o n a r e v e r y e n c o u r a g i n g a n d s u g g e s t a l a r g e n u m b e r o f f u t u r e e x p e r i m e n t s .



1 2 0 7 . C o n c l u s i o n s

A p o t e n t i a l a p p l i c a t i o n o f F A S T , n o t y e t f u l l y e x p l o r e d , i s t h e a b i l i t y t o a d a p t t o

q u i c k c h a n g e s i n t h e e n v i r o n m e n t . M i l l a n 1 3 7 f o u n d p o o r g e n e r a l i z a t i o n c a p a b i l i t i e s i n

a s i m i l a r a r c h i t e c t u r e b a s e d o n G A L t h e s u p e r v i s e d v e r s i o n o f G A R , t h e G r o w a n d R e p -

r e s e n t a l g o r i t h m d e s c r i b e d i n C h a p t e r 4 w h e n t h e s y s t e m w a s t e s t e d o n e n v i r o n m e n t s

d i e r e n t f r o m t h o s e p r e v i o u s l y e x p e r i e n c e d . H o w e v e r , w e b e l i e v e t h e F A S T a r c h i t e c t u r e

h o l d s g r e a t e r p o t e n t i a l b y o e r i n g a f a s t a n d p l a s t i c l e a r n i n g p l a t f o r m f o r n o n - s t a t i o n a r y

e n v i r o n m e n t a p p l i c a t i o n s . A p r o m i s i n g a l t e r n a t i v e t o i m p r o v e o u r s y s t e m i s t o i n c o r p o -

r a t e t h e r e i n f o r c e m e n t s i g n a l s i n t o t h e F A S T n e t w o r k ' s d y n a m i c s . T h i s i d e a w a s i n s p i r e d

b y C a r p e n t e r a n d G r o s s b e r g w h o s u g g e s t e d p l a c i n g t h e v i g i l a n c e p a r a m e t e r u n d e r e x -

t e r n a l c o n t r o l , t o b e i n c r e a s e d , f o r e x a m p l e , w h e n t h e n e t w o r k i s ` p u n i s h e d ' f o r f a i l i n g

t o d i s t i n g u i s h t w o i n p u t s t h a t g i v e r i s e t o d i e r e n t c o n s e q u e n c e s 3 7 . I n d e e d , I h a v e

t h o u g h t o f a n i c e e x p e r i m e n t t h a t c a n b e u s e d t o t e s t t h e c o n t i n u a l l e a r n i n g c a p a b i l i t i e s

o f o u r a r c h i t e c t u r e b y u s i n g s e v e r a l e n v i r o n m e n t s w i t h i n c r e a s i n g c o m p l e x i t y i n i t s s h a p e

a n d o b s t a c l e s . S u c h a n e x p e r i m e n t w o u l d b e s i m i l a r t o t h e a b s t r a c t m a z e e x p e r i e n c e s

o f R i n g 1 6 9 , w h o t e s t e d a h i g h - o r d e r c o n s t r u c t i v e l e a r n i n g a l g o r i t h m w i t h m a z e t a s k s

o f i n c r e a s i n g c o m p l e x i t y . T h e s y s t e m w a s a b l e t o s e q u e n t i a l l y l e a r n t h o s e m a z e s , a n d

r e q u i r e d a s m a l l e r c o m p u t a t i o n a l e o r t t o s o l v e t h e m o r e c o m p l e x m a z e t h a n s o l v i n g i t

f r o m s c r a t c h .

7 . 2 . 2 H a r d w a r e r e c o n g u r a b i l i t y

S e m i c o n d u c t o r t e c h n o l o g y i s c h a n g i n g v e r y f a s t . N e w d e v i c e s l i k e t h e F I P S O C

c h i p 1 4 5 , w h i c h c o n t a i n s a m i c r o c o n t r o l l e r , s o m e d i g i t a l r e c o n g u r a b l e l o g i c , a n d s o m e

p r o g r a m m a b l e a n a l o g c i r c u i t s , s h o u l d e n a b l e t h e d e v e l o p m e n t o f h a r d w a r e - o r i e n t e d

l e a r n i n g a l g o r i t h m s H O L A . I n d e e d , a b i g c h a l l e n g e f o r f u t u r e r e s e a r c h i s t h e

d e v e l o p m e n t o f a l e a r n i n g a l g o r i t h m s u c i e n t l y s i m p l e t o b e i m p l e m e n t e d u s i n g

r e c o n g u r a b l e h a r d w a r e d e v i c e s b u t p o w e r f u l e n o u g h t o r e c o n g u r e t h e c o m p l e t e

p a t t e r n o f i n t e r c o n n e c t i o n b e t w e e n v e r y s i m p l e p r o c e s s i n g e l e m e n t s , i m p l e m e n t e d i n

t h e s a m e c h i p . T h i s w o u l d b e s i m i l a r t o i m p l e m e n t i n g t h e i d e a o f u n o r g a n i z e d l e a r n i n g

m a c h i n e s d e n e d b y T u r i n g i n t h e l a t e 1 9 4 0 s 2 1 3 .

A p o s s i b l e w a y t o a c h i e v e t h i s i s b y d e v e l o p i n g c o m p u t a t i o n a l n o n - i n t e n s i v e e v o -

l u t i o n a r y l e a r n i n g a l g o r i t h m s b a s e d o n t h e s o - c a l l e d c l a s s i e r s y s t e m s , d e v e l o p e d b y

H o l l a n d 8 6 , a n d o n i t s m o r e r e c e n t v e r s i o n s , c a l l e d Z C S a n d X C S 2 3 3 , 2 3 4 . S u c h s y s -

t e m s c a t e g o r i z e p a t t e r n s o f s e n s o r y a c t i v a t i o n b y u s i n g a v e r y s i m p l e a l p h a b e t c o m p o s e d

o f 0 ' s , 1 ' s , a n d d o n ' t - c a r e ' s , v e r y s i m i l a r t o t h e w e i g h t l e s s m o d e l s o f A l e k s a n d e r 5 .

7 . 2 . 3 B i o - i n s p i r e d h a r d w a r e d u a l i s m

T o c o n c l u d e w i t h a m o r e p h i l o s o p h i c a l i s s u e , I h a v e o b s e r v e d a k i n d o f d u a l i s m i n o u r

c u r r e n t b i o - i n s p i r e d l e a r n i n g m o d e l s : f r o m a c o n c e p t u a l s t a n d p o i n t , t h e r e i s a n e t w o r k

t o p o l o g y a n d a l e a r n i n g a l g o r i t h m . I n o t h e r w o r d s , t h e r e a r e a l w a y s a p r e d e t e r m i n e d

s t r u c t u r e c o m p o s e d o f i n t e r c o n n e c t e d p r o c e s s i n g u n i t s a n d a p r o c e d u r e t o a d a p t h o p e -

f u l l y b o t h t h e d y n a m i c s o f t h e p r o c e s s i n g e l e m e n t s a n d t h e w a y t h e y a r e i n t e r c o n n e c t e d .

T h i s d u a l i s m i s a n a l o g o u s t o h a r d w a r e a n d s o f t w a r e i n c o m p u t i n g m a c h i n e s , o r t o d a t a

p a t h s a n d c o n t r o l p a t h s i n h a r d w a r e s y s t e m s .



7 . 2 C h a l l e n g e s a n d f u r t h e r r e s e a r c h d i r e c t i o n s 1 2 1

T h i s d u a l i t y i s u n d e r s t a n d a b l e s i n c e c o m p u t i n g m a c h i n e s h a v e s o f a r b e e n i m p l e -

m e n t e d a s p r o g r a m m a b l e m a c h i n e s . H o w e v e r , t h e l e a r n i n g p a r a d i g m s h o u l d e n a b l e u s t o

t h i n k o f a n e w k i n d o f m a c h i n e s , w h e r e , e e c t i v e l y , l e a r n i n g b y e x a m p l e s a n d i n t e r a c t i o n

r e p l a c e p r o g r a m m i n g w i t h o u t n e e d i n g t o e m u l a t e s u c h p r i n c i p l e s u s i n g a p r o g r a m m a b l e

c o m p u t i n g m a c h i n e . I n t h i s k i n d o f m a c h i n e s , t h e l e a r n i n g a l g o r i t h m w o u l d e m e r g e

f r o m t h e d y n a m i c s o f t h e i n t e r c o n n e c t i o n o f t h e p r o c e s s i n g e l e m e n t s , w h i c h m a y b e t h e

k e y t o r e a l i z e a s y s t e m e n d o w e d w i t h s e m a n t i c s i . e . , a s y s t e m t h a t i s c a p a b l e o f a s s o -

c i a t i n g a m e a n i n g t o t h e s y m b o l s i t u s e s f o r c o m p u t i n g 1 8 6 , 1 8 7 , a n d n o t m e r e l y w i t h

s y n t a x , a s i t i s t h e c a s e o f o u r c u r r e n t c o m p u t i n g m a c h i n e s .



B i b l i o g r a p h y

1 J . S . A l b u s . A N e w A p p r o a c h t o M a n i p u l a t o r C o n t r o l : T h e C e r e b e l l a r M o d e l

A r t i c u l a t i o n C o n t r o l l e r C M A C . J o u r n a l o f D y n a m i c S y s t e m s , M e a s u r e m e n t a n d

C o n t r o l , 9 7 : 2 2 0 2 2 7 , S e p t e m b e r 1 9 7 5 .

2 I . A l e k s a n d e r . A r t i c i a l N e u r o c o n s c i o u s n e s s : A n U p d a t e . I n J . M i r a a n d F . S a n -

d o v a l , e d i t o r s , F r o m N a t u r a l t o A r t i c i a l N e u r a l C o m p u t a t i o n , v o l u m e 9 3 0 o f L e c -

t u r e N o t e s i n C o m p u t e r S c i e n c e , p a g e s 5 6 6 5 8 3 . S p r i n g e r , 1 9 9 5 .

3 I . A l e k s a n d e r . I m p o s s i b l e M i n d s . M y N e u r o n s M y C o n s c i o u s n e s s . I m p e r i a l C o l l e g e

P r e s s , 1 9 9 6 .

4 I . A l e k s a n d e r a n d E . H . M a m d a n i . M i c r o c i r c u i t L e a r n i n g N e t s : I m p r o v e d R e c o g -

n i t i o n b y M e a n s o f P a t t e r n F e e d b a c k . E l e c t r o n i c L e t t e r s , 4 2 0 : 4 2 5 4 2 6 , O c t o b e r

1 9 6 8 .

5 I . A l e k s a n d e r a n d H . M o r t o n . A n I n t r o d u c t i o n t o N e u r a l C o m p u t i n g . I n t e r n a t i o n a l

T h o m s o n C o m p u t e r P r e s s , s e c o n d e d i t i o n , O c t o b e r 1 9 9 5 .

6 A . E . A l p a y d i n . N e u r a l M o d e l s o f I n c r e m e n t a l S u p e r v i s e d a n d U n s u p e r v i s e d L e a r n -

i n g . P h D t h e s i s , S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y - L a u s a n n e , L a u s a n n e , E P F L ,

1 9 9 0 . T h e s i s 8 6 3 .

7 J . A l s p e c t o r , J . G a n n e t t , S . H a b e r , M . P a r k e r , a n d R . C h u . A V L S I - E c i e n t

T e c h n i q u e f o r G e n e r a t i n g M u l t i p l e U n c o r r e l a t e d N o i s e S o u r c e s a n d I t s A p p l i c a -

t i o n t o S t o c h a s t i c N e u r a l N e t w o r k s . I E E E T r a n s a c t i o n s o n C i r c u i t s a n d S y s t e m s ,

3 8 1 : 1 0 9 1 2 3 , J a n u a r y 1 9 9 1 .

8 A l t e r a . D a t a B o o k . A l t e r a C o r p o r a t i o n , S a n t a C l a r a , 1 9 9 6 .

9 C . W . A n d e r s o n . S t r a t e g y L e a r n i n g w i t h M u l t i l a y e r C o n n e c t i o n i s t R e p r e s e n t a t i o n s .

I n P r o c e e d i n g s o f t h e F o u r t h I n t e r n a t i o n a l W o r k s h o p o n M a c h i n e L e a r n i n g , p a g e s

1 0 3 1 1 4 , I r v i n e , C A , 1 9 8 7 .

1 0 C . W . A n d e r s o n . Q - L e a r n i n g w i t h H i d d e n - U n i t R e s t a r t i n g . I n A d v a n c e s i n N e u r a l

I n f o r m a t i o n P r o c e s s i n g S y s t e m s , p a g e s 8 1 8 8 . M o r g a n K a u f m a n n P u b l i s h e r s , 1 9 9 3 .

1 1 D . A n d r e , N . F r i e d m a n , a n d R . P a r r . G e n e r a l i z e d P r i o r i t i z e d S w e e p i n g . I n M . I .

J o r d a n , M . J . K e a r n s , a n d S . A . S o l l a , e d i t o r s , A d v a n c e s i n N e u r a l I n f o r m a t i o n

P r o c e s s i n g S y s t e m s , v o l u m e 1 0 . T h e M I T P r e s s , 1 9 9 8 .

1 2 3




2 7 H . B e r e n j i a n d P . K h e d k a r . L e a r n i n g a n d T u n i n g F u z z y L o g i c C o n t r o l l e r s t h r o u g h

R e i n f o r c e m e n t s . I n I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , p a g e s 7 2 4 7 4 0 ,

S e p t e m b e r 1 9 9 2 .

2 8 J . - L . B e u c h a t . R a l i s a t i o n d e r s e a u x n e u r o n a u x e n l o g i q u e s t o c h a s t i q u e . T e c h n i c a l

r e p o r t , S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y - L a u s a n n e , 1 9 9 6 . S e m e s t e r p r o j e c t

r e p o r t i n F r e n c h .

2 9 J . A . B o y a n . M o d u l a r n e u r a l n e t w o r k s f o r l e a r n i n g c o n t e x t - d e p e n d e n t g a m e s t r a t e -

g i e s . M a s t e r ' s t h e s i s , U n i v e r s i t y o f C a m b r i d g e , D e p a r t m e n t o f E n g i n e e r i n g a n d

C o m p u t e r L a b o a t o r y , 1 9 9 2 .

3 0 R . A . B r o o k s . I n t e l l i g e n c e W i t h o u t R e a s o n . T e c h n i c a l R e p o r t A . I . M e m o 1 2 9 3 ,

M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y , A p r i l 1 9 9 1 .

3 1 R . A . B r o o k s . N e w A p p r o a c h e s t o R o b o t i c s . S c i e n c e , 2 5 3 : 1 2 2 7 1 2 3 2 , 1 3 S e p t e m b e r

1 9 9 1 .

3 2 J . B r u s k e , I . A h r n s , a n d G . S o m m e r . A n i n t e g r a t e d a r c h i t e c t u r e f o r l e a r n i n g o f

r e a c t i v e b e h a v i o r s b a s e d o n d y n a m i c c e l l s t r u c t u r e s . R o b o t i c a n d A u t o n o m o u s

S y s t e m s , 2 2 : 8 7 1 0 1 , 1 9 9 7 .

3 3 L . I . B u r k e . C l u s t e r i n g C h a r a c t e r i z a t i o n o f A d a p t i v e R e s o n a n c e . N e u r a l N e t w o r k s ,

4 : 4 8 5 4 9 1 , 1 9 9 1 .

3 4 G . A . C a r p e n t e r . D i s t r i b u t e d A R T n e t w o r k s f o r l e a r n i n g , r e c o g n i t i o n , a n d p r e d i c -

t i o n . I n W o r l d C o n g r e s s o n N e u r a l N e t w o r k s , p a g e s 3 3 3 3 4 4 , S a n D i e g o , C A . ,

S e p t e m b e r 1 5 - 1 8 1 9 9 6 . I n t e r n a t i o n a l N e u r a l N e t w o r k S o c i e t y .

3 5 G . A . C a r p e n t e r a n d S . G r o s s b e r g . A R T 2 : S t a b l e S e l f - o r g a n i z a t i o n o f P a t t e r n

R e c o g n i t i o n C o d e s f o r A n a l o g I n p u t P a t t e r n s . A p p l i e d O p t i c s , 2 6 2 1 : 4 9 1 9 4 9 3 0 ,

N o v e m b e r 1 9 8 7 .

3 6 G . A . C a r p e n t e r a n d S . G r o s s b e r g . A m a s s i v e l y p a r a l l e l a r c h i t e c t u r e f o r a s e l f -

o r g a n i z a i n g n e u r a l p a t t e r n r e c o g n i t i o n m a c h i n e . C o m p u t . V i s . , G r a p h . , I m a g e

P r o c . , 3 7 : 5 4 1 1 5 , 1 9 8 7 .

3 7 G . A . C a r p e n t e r a n d S . G r o s s b e r g . T h e A R T o f A d a p t i v e P a t t e r n R e c o g n i t i o n b y

a s e l f - o r g a n i z i n g n e u r a l n e t w o r k . I E E E C o m p u t e r , p a g e s 7 7 8 8 , M a r c h 1 9 8 8 .

3 8 G . A . C a r p e n t e r a n d S . G r o s s b e r g . A R T 3 : H i e r a r c h i c a l s e a r c h u s i n g c h e m i c a l t r a n s -

m i t t e r s i n s e l f - o r g a n i z i n g p a t t e r n a r c h i t e c t u r e s . N e u r a l N e t w o r k s , 3 : 1 2 9 1 5 2 , 1 9 9 0 .

3 9 G . A . C a r p e n t e r a n d S . G r o s s b e r g . A d a p t i v e r e s o n a n c e t h e o r y A R T . I n M . A .

A r b i b , e d i t o r , H a n d b o o k o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 7 9 8 2 . M I T

P r e s s , 1 9 9 5 .



1 2 6 B i b l i o g r a p h y

4 0 G . A . C a r p e n t e r , S . G r o s s b e r g , N . M a r k u z o n , J . H . R e y n o l d s , a n d D . B . R o s e n . F u z z y

A R T M A P : A n e u r a l n e t w o r k a r c h i t e c t u r e f o r i n c r e m e n t a l s u p e r v i s e d l e a r n i n g o f

a n a l o g m u l t i d i m e n s i o n a l m a p s . I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , 3 : 6 9 8 7 1 3 ,

1 9 9 2 .

4 1 G . A . C a r p e n t e r , S . G r o s s b e r g , a n d J . H . R e y n o l d s . S u p e r v i s e d r e a l - t i m e l e a r n i n g

a n d c l a s s i c a t i o n o f n o n s t a t i o n a r y d a t a b y a s e l f - o r g a n i z i n g n e u r a l n e t w o r k . N e u r a l

N e t w o r k s , 4 : 5 6 5 5 8 8 , 1 9 9 1 .

4 2 G . A . C a r p e n t e r , S . G r o s s b e r g , a n d D . B . R o s e n . F u z z y A R T : F a s t s t a b l e l e a r n i n g

a n d c a t e g o r i z a t i o n o f a n a l o g p a t t e r n s b y a n a d a p t i v e r e s o n a n c e s y s t e m . N e u r a l

N e t w o r k s , 4 : 7 5 9 7 7 1 , 1 9 9 1 .

4 3 J . - P . C h a n g e u x . L ' h o m m e n e u r o n a l . C o l l e c t i o n P l u r i e l . F a y a r d , 1 9 8 5 .

4 4 J . - P . C h a n g e u x a n d A . D a n c h i n . S e l e c t i v e s t a b i l i s a t i o n o f d e v e l o p i n g s y n a p s e s

a s a m e c h a n i s m f o r t h e s p e c i c a t i o n o f n e u r o n a l n e t w o r k s . N a t u r e , 2 6 4 : 7 0 5 7 1 2 ,

D e c e m b e r 1 9 7 6 .

4 5 G . C h e c h i k a n d I . M e i l i j s o n . S y n a p t i c P r u n i n g i n D e v e l o p m e n t : A N o v e l A c c o u n t

i n N e u r a l T e r m s . N e u r a l C o m p u t a t i o n , 1 0 7 : 1 7 5 9 1 7 7 7 , O c t o b e r 1 9 9 8 .

4 6 J . C l o u t i e r a n d P . Y . S i m a r d . H a r d w a r e i m p l e m e n t a t i o n o f t h e b a c k p r o p a g a t i o n

w i t h o u t m u l t i p l i c a t i o n . I n P r o c e e d i n g s o f t h e F o u r t h I n t e r n a t i o n a l C o n f e r e n c e o n

M i c r o e l e c t r o n i c s f o r N e u r a l N e t w o r k s a n d F u z z y S y s t e m s M i c r o n e u r o ' 9 6 , p a g e s 4 6

5 5 . I E E E , S e p t e m b e r 1 9 9 4 .

4 7 C . C o x a n d E . B l a n z . G A N G L I O N : A F a s t F i e l d P r o g r a m m a b l e G a t e A r r a y

i m p l e m e n t a t i o n o f a C o n n e c t i o n i s t C l a s s i e r . I E E E J o u r n a l o f S o l i d S t a t e C i r c u i t s ,

2 7 3 : 2 8 8 2 9 9 , M a r c h 1 9 9 2 .

4 8 C . D a r w i n . T h e O r i g i n o f S p e c i e s b y M e a n s o f N a t u r a l S e l e c t i o n . J o h n M u r r a y ,

L o n d o n , 1 8 5 9 .

4 9 G . d e T r m i o l l e s , P . T a n n h o f , B . P l o u g o n v e n , C . D e m a r i g n y , a n d K . M a d a n i .

V i s u a l p r o b e m a r k i n s p e c t i o n , u s i n g h a r d w a r e i m p l e m e n t a t i o n o f a r t i c i a l n e u r a l

n e t w o r k s i n V L S I p r o d u c t i o n . I n R . M o r e n o - D a z J . M i r a a n d J . C a b e s t a n y , e d i t o r s ,

B i o l o g i c a l a n d A r t i c i a l C o m p u t a t i o n : F r o m N e u r o s c i e n c e t o t e c h n o l o g y , v o l u m e

1 2 4 0 , p a g e s 1 3 7 4 1 3 8 3 , L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , 1 9 9 7 . S p r i n g e r V e r l a g .

5 0 S . D e h a e n e a n d J . - P . C h a n g e u x . D e v e l o p m e n t o f E l e m e n t a r y N u m e r i c a l A b i l i t e s :

A N e u r o n a l M o d e l . J o u r n a l o f C o g n i t i v e N e u r o s c i e n c e , 5 4 : 3 9 0 4 0 7 , 1 9 9 3 .

5 1 T . D i e t t e r i c h . M a c h i n e l e a r n i n g . I n T h e M I T E n c y c l o p e d i a o f t h e C o g n i t i v e S c i -

e n c e s , p a g e s 4 9 7 4 9 8 . T h e M I T P r e s s , 1 9 9 9 .

5 2 M . D o r i g o . E d i t o r i a l I n t r o d u c t i o n t o t h e S p e c i a l I s s u e o n L e a r n i n g A u t o n o m o u s

R o b o t s . I n I E E E T r a n s a c t i o n s o n S y s t e m s , M a n a n d C y b e r n e t i c s , p a g e s 3 6 1 3 6 4 ,

J u n e 1 9 9 6 .




5 3 R . D o u g l a s a n d M . M a h o w a l d . S i l i c o n N e u r o n s . I n M . A . A r b i b , e d i t o r , H a n d b o o k

o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 8 7 1 8 7 5 . M I T P r e s s , 1 9 9 5 .

5 4 M . E l d r a c h e r , A . S t a l l e r , a n d R . P o m p l . A d a p t i v e E n c o d i n g S t r o n g l y I m p r o v e s

F u n c t i o n A p p r o x i m a t i o n w i t h C M A C . N e u r a l C o m p u t a t i o n , 9 : 4 0 3 4 1 7 , 1 9 9 7 .

5 5 J . G . E l d r e d g e a n d B . L . H u t c h i n g s . D e n s i t y E n h a n c e m e n t o f a N e u r a l N e t w o r k

U s i n g F P G A s a n d R u n - T i m e R e c o n g u r a t i o n . I n D . A . B u e l l a n d K . L . P o c e k ,

e d i t o r s , I E E E W o r k s h o p o n F P G A s f o r C u s t o m C o m p u t i n g M a c h i n e s , p a g e s 1 8 0

1 8 8 , L o s A l a m i t o s , C A , A p r i l 1 9 9 4 . I E E E C o m p u t e r S o c i e t y P r e s s .

5 6 M . E r c e g o v a c . O n - l i n e a r i t h m e t i c : a n o v e r v i e w . I n S P I E , R e a l T i m e S i g n a l P r o -

c e s s i n g V I I , p a g e s 8 6 9 3 , 1 9 8 4 .

5 7 S . E . F a h l m a n a n d C . L e b i e r e . T h e C a s c a d e - C o r r e l a t i o n L e a r n i n g A r c h i t e c t u r e .

I n A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , p a g e s 5 2 4 5 3 2 . M o r g a n

K a u f m a n n P u b l i s h e r s , 1 9 9 0 .

5 8 M . C . F a i r h u r s t a n d I . A l e k s a n d e r . N a t u r a l P a t t e r n C l u s t e r i n g i n D i g i t a l L e a r n i n g

N e t s . E l e c t r o n i c L e t t e r s , 7 2 4 : 7 2 4 7 2 6 , O c t o b e r 1 9 7 1 .

5 9 E . F i e s l e r . C o m p a r a t i v e B i b l i o g r a p h y o f O n t o g e n i c N e u r a l N e t w o r k s . P r o c e e d i n g s

o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n A r t i c i a l N e u r a l N e t w o r k s I C A N N ' 9 4 , 1 9 9 4 .

6 0 G . F i s c h b a c k . M i n d a n d B r a i n . S c i e n t i c A m e r i c a n , p a g e s 2 4 3 3 , S e p t e m b e r 1 9 9 2 .

6 1 D . F l o r e a n o . R e d u c i n g H u m a n D e s i g n a n d I n c r e a s i n g A d a p t a b i l i t y i n E v o l u t i o n a r y

R o b o t i c s . I n T . G o m i , e d i t o r , E v o l u t i o n a r y R o b o t i c s . A A I B o o k s , O n t a r i o , 1 9 9 7 .

6 2 G . F r a n k , G . H a r t m a n n a n s A . J a h n k e , a n d M . S c h f e r . A n A c c e l e r a t o r f o r N e u r a l

N e t w o r k s w i t h P u l s e - C o d e d M o d e l N e u r o n s . I E E E T r a n s a c t i o n s o n N e u r a l N e t -

w o r k s , S p e c i a l I s s u e o n P u l s e C o u p l e d N e u r a l N e t w o r k s , 1 0 : 5 2 7 5 3 9 , M a y 1 9 9 9 .

6 3 M . F r e a n . T h e U p s t a r t A l g o r i t h m : A M e t h o d f o r C o n s t r u c t i n g a n d T r a i n i n g

F e e d - F o r w a r d N e u r a l N e t w o r k s . N e u r a l C o m p u t a t i o n , 2 : 1 9 8 2 0 9 , 1 9 9 0 .

6 4 B . F r i t z k e . U n s u p e r v i s e d o n t o g e n i c n e t w o r k s . I n H a n d b o o k o f N e u r a l C o m p u t a t i o n ,

p a g e s C 2 . 4 : 1 C 2 . 4 : 1 6 . I n s t i t u t e o f P h y s i c s P u b l i s h i n g a n d O x f o r d U n i v e r s i t y P r e s s ,

1 9 9 7 .

6 5 W . G e r s t n e r a n d J . L . v a n H e m m e n . H o w t o d e s c r i b e n e u r a l a c t i v i t y s p i k e s , r a t e s ,

o r a s s e m b l i e s ? I n J . D . C o w a n , G . T e s a u r o , a n d J . A l s p e c t o r , e d i t o r s , A d v a n c e s

i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s 6 , p a g e s 4 6 3 4 7 0 . M o r g a n K a u f m a n n

P u b l i s h e r s , 1 9 9 4 .

6 6 C . G i l b e r t . N e u r a l p l a s t i c i t y . I n T h e M I T E n c y c l o p e d i a o f t h e C o g n i t i v e S c i e n c e s ,

p a g e s 5 9 8 6 0 1 . T h e M I T P r e s s , 1 9 9 9 .




6 7 B . G i r a u a n d A . T i s s e r a n d . O n - l i n e A r i t h m e t i c - B a s e d R e p r o g r a m m a b l e H a r d w a r e

I m p l e m e n t a t i o n o f M u l t i l a y e r P e r c e p t r o n B a c k - P r o p a g a t i o n . I n P r o c e e d i n g s o f

M i c r o N e u r o ' 9 6 , p a g e s 1 6 8 1 7 5 , 1 9 9 6 .

6 8 M . G o e k e , M . S i p p e r , D . M a n g e , A . S t a u e r , E . S a n c h e z , a n d M . T o m a s s i n i . O n l i n e

a u t o n o m o u s e v o l w a r e . I n T . H i g u c h i , M . I w a t a , a n d L . W e i x i n , e d i t o r s , E v o l v a b l e

S y s t e m s : F r o m B i o l o g y t o H a r d w a r e , v o l u m e 1 2 5 9 o f L e c t u r e N o t e s i n C o m p u t e r

S c i e n c e , p a g e s 9 6 1 0 6 . S p r i n g e r - V e r l a g , 1 9 9 7 .

6 9 R . G o l d s t o n e . S i m i l a r i t y . I n T h e M I T E n c y c l o p e d i a o f t h e C o g n i t i v e S c i e n c e s ,

p a g e s 7 6 3 7 6 5 . T h e M I T P r e s s , 1 9 9 9 .

7 0 S . G r o s s b e r g . A d a p t i v e p a t t e r n c l a s s i c a t i o n a n d u n i v e r s a l r e c o d i n g : I . P a r a l l e l

d e v e l o p m e n t a n d c o d i n g o f n e u r a l f e a t u r e d e t e c t o r s . B i o l o g i c a l C y b e r n e t i c s , 2 1 : 1 1 7

1 5 8 , 1 9 7 6 .

7 1 S . G r o s s b e r g . A d a p t i v e p a t t e r n c l a s s i c a t i o n a n d u n i v e r s a l r e c o d i n g : I I . P a r a l l e l

d e v e l o p m e n t a n d c o d i n g o f n e u r a l f e a t u r e d e t e c t o r s . B i o l o g i c a l C y b e r n e t i c s , 2 3 : 1 8 7

2 0 2 , 1 9 7 6 .

7 2 S . G r o s s b e r g . T h e A t t e n t i v e B r a i n . T e c h n i c a l R e p o r t C A S C N S - T R - 9 5 - 0 1 2 , D e -

p a r t m e n t o f C o g n i t i v e a n d N e u r a l S y s t e m s , B o s t o n U n i v e r s i t y , 1 9 9 5 . a l s o i n

A m e r i c a n S c i e n t i s t 8 3 , 4 3 8 4 4 9 , 1 9 9 5 .

7 3 S . G r o s s b e r g . T h e L i n k b e t w e e n B r a i n L e a r n i n g , A t t e n t i o n , a n d C o n c i o u s n e s s .

T e c h n i c a l R e p o r t C A S C N S - T R - 9 7 - 0 1 8 , D e p a r t m e n t o f C o g n i t i v e a n d N e u r a l S y s -

t e m s , B o s t o n U n i v e r s i t y , J u n e 1 9 9 8 . a l s o i n C o n c i o u s n e s s a n d C o g n i t i o n , 8 , 1 ,

1 9 9 9 .

7 4 M . G s c h w i n d , V . S a l a p u r a , a n d O . M a i s c h b e r g e r . R A N N S O M : A R e c o n g u r a b l e

N e u r a l N e t w o r k A r c h i t e c t u r e B a s e d o n B i t S t r e a m A r i t h m e t i c . I n P r o c e e d i n g s o f

t h e F o u r t h I n t e r n a t i o n a l C o n f e r e n c e o n M i c r o e l e c t r o n i c s f o r N e u r a l N e t w o r k s a n d

F u z z y S y s t e m s , T u r i n , I t a l y , S e p t e m b e r 1 9 9 4 .

7 5 V . G u l l a p a l l i . A C o m p a r i s o n o f S u p e r v i s e d a n d R e i n f o r c e m e n t L e a r n i n g M e t h o d s

o n a R e i n f o r c e m e n t L e a r n i n g T a s k . C o m p u t e r a n d I n f o r m a t i o n S c i e n c e D e p a r t -

m e n t , U n i v e r s i t y o f M a s s a c h u s s e t t s , A m h e r s t u n p u b l i s h e d p a p e r , 1 9 9 2 .

7 6 J . D . H a d l e y a n d B . L . H u t c h i n g . D e s i g n M e t h o d o l o g i e s f o r P a r t i a l l y R e c o n g u r e d

S y s t e m s . I n P . A t h a n a s a n d K . L . P o c e k , e d i t o r s , P r o c e e d i n g s o f t h e I E E E W o r k s h o p

o n F P G A s f o r C u s t o m C o m p u t i n g M a c h i n e s , p a g e s 7 8 8 4 , L o s A l a m i t o s , C A . ,

A p r i l 1 9 9 5 . I E E E C o m p u t e r S o c i e t y P r e s s .

7 7 A . H a m i l t o n , S . C h u r c h e r , P . J . E d w a r d s , G . B . J a c k s o n , A . F . M u r r a y , a n d H . M .

R e e k i e . P u l s e s t r e a m V L S I c i r c u i t s a n d s y s t e m s : t h e e p s i l o n n e u r a l n e t w o r k

c h i p s e t . I n P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l C o n f e r e n c e o n M i c r o e l e c t r o n -

i c s f o r N e u r a l N e t w o r k s , v o l u m e 4 , p a g e s 3 9 5 4 0 5 , D e c e m b e r 1 9 9 3 .




7 8 S . H a m i l t o n a n d L . G a r b e r . D e e p B l u e ' s H a r d w a r e - S o f t w a r e S y n e r g y . I E E E -

C o m p u t e r , 1 9 9 7 .

7 9 J . H a m p t o n . C e n c e p t s . I n T h e M I T E n c y c l o p e d i a o f t h e C o g n i t i v e S c i e n c e s , p a g e s

1 7 6 1 7 9 . T h e M I T P r e s s , 1 9 9 9 .

8 0 S . H a r n a d , S . J . H a n s o n , a n d J . L u b i n . L e a r n e d C a t e g o r i c a l P e r c e p t i o n i n N e u -

r a l N e t s : I m p l i c a t i o n s f o r S y m b o l G r o u n d i n g . I n V . H o n a v a r a n d L . U h r , e d i t o r s ,

S y m b o l P r o c e s s o r s a n d C o n n e c t i o n i s t N e t w o r k M o d e l s i n A r t i c i a l I n t e l l i g e n c e a n d

C o g n i t i v e M o d e l l i n g : S t e p s T o w a r d P r i n c i p l e d I n t e g r a t i o n , p a g e s 1 9 1 2 0 6 . A c a -

d e m i c P r e s s , 1 9 9 5 .

8 1 S . H a u c k . T h e R o l e s o f F P G A ' s i n R e p r o g r a m m a b l e S y s t e m s . P r o c e e d i n g s o f t h e

I E E E , 8 6 4 : 6 1 5 6 3 8 , A p r i l 1 9 9 8 .

8 2 J . R . H e a t h , P . J . K u e k e s , G . S . S n i d e r , a n d R . S . W i l l i a m s . A D e f e c t - T o l e r a n t C o m -

p u t e r A r c h i t e c t u r e : O p p o r t u n i t i e s f o r N a n o t e c h n o l o g y . S c i e n c e , 2 8 0 : 1 7 1 6 1 7 2 1 ,

J u n e 1 2 1 9 9 8 .

8 3 D . O . H e b b . T h e O r g a n i z a t i o n o f B e h a v i o r . W i l e y , N e w Y o r k , 1 9 4 9 .

8 4 J . H r a u l t a n d C . J u t t e n . R s e a u x n e u r o n a u x e t t r a i t e m e n t d u s i g n a l . T r a i t e m e n t

d u s i g n a l . H e r m e s , P a r i s , s e c o n d e d i t i o n , 1 9 9 4 .

8 5 K . H e r t z , A . K r o g h , a n d R . P a l m e r . I n t r o d u c t i o n t o t h e T h e o r y o f N e u r a l C o m p u -

t a t i o n , c h a p t e r 9 , p a g e s 2 1 7 2 4 3 . A d d i s o n - W e s l e y , R e d w o o d C i t y , C A , 1 9 9 1 .

8 6 J . H . H o l l a n d . A d a p t a t i o n i n N a t u r a l a n d A r t i c i a l S y s t e m s . U n i v e r s i t y o f M i c h i g a n

P r e s s , A n n A r b o r , 1 9 7 5 . S e c o n d e d i t i o n b y T h e M I T P r e s s , C a m b r i d g e M A , 1 9 9 2 .

8 7 J . H . H o l l a n d . H i d d e n O r d e r : H o w A d a p t a t i o n B u i l d s C o m p l e x i t y . A d d i s o n W e s l e y ,

1 9 9 5 .

8 8 J . J . H o p e l d . N e u r a l n e t w o r k a n d p h y s i c a l s y s t e m s w i t h c o l l e c t i v e c o m p u t a t i o n a l

a b i l i t i e s . P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f S c i e n c e , 7 9 : 2 5 5 4 2 5 5 8 , 1 9 8 2 .

8 9 K . H o r n i k , M . S t i n c h c o m b e , a n d H . W h i t e . M u l t i l a y e r f e e d f o r w a r d n e t w o r k s a r e

u n i v e r s a l a p p r o x i m a t o r s . N e u r a l N e t w o r k s , 2 : 3 5 9 3 6 6 , 1 9 8 9 .

9 0 P . D . H o r t e n s i u s , R . D . M c L e o d , W . P r i e s , D . M . M i l l e r , a n d H . C . C a r d . C e l l u l a r

A u t o m a t a - B a s e d P s e u d o r a n d o m N u m b e r G e n e r a t o r s f o r B u i l t - I n S e l f - T e s t . I E E E

T r a n s a c t i o n s o n C o m p u t e r - A i d e d D e s i g n , 8 8 : 8 4 2 8 5 9 , A u g u s t 1 9 8 9 .

9 1 P . D . H o r t e n s i u s , R . D . M c L e o d , a n d H . C . C a r d . P a r a l l e l r a n d o m n u m b e r g e n e r a t i o n

f o r V L S I s y s t e m s u s i n g c e l l u l a r a u t o m a t a . I E E E T r a n s a c t i o n s o n C o m p u t e r s ,

3 8 1 0 : 1 4 6 6 1 4 7 3 , O c t o b e r 1 9 8 9 .

9 2 F . - H . H s u , T . A n a n t h a r a m a n , M . C a m p b e l l , a n d A . N o w a t z y k . A G r a n d m a s t e r

C h e s s M a c h i n e . S c i e n t i c A m e r i c a n , p a g e s 1 8 2 3 , O c t o b e r 1 9 9 0 .




9 3 D . H . H u b e l a n d T . N . W i e s e l . B r a i n M e c h a n i s m s o f V i s i o n . S c i e n t i c A m e r i c a n ,

2 4 1 1 , 1 9 7 9 .

9 4 I - C U B E I n c . I - C U B E . T h e F P I D F a m i l y D a t a S h e e t , 2 . 0 e d i t i o n , M a y 1 9 9 4 .

9 5 I B M F r a n c e , C o m p o n e n t D e v e l o p m e n t L a b o r a t o r y . Z I S C 0 3 6 N e u r o n s U s e r ' s M a n -

u a l , M a y 1 5 1 9 9 8 .

9 6 P . I e n n e . A r c h i t e c t u r e s f o r N e u r o c o m p u t e r s : R e v i e w a n d P e r f o r m a n c e E v a l u a t i o n .

T e c h n i c a l R e p o r t T R . 9 3 2 1 , S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y - L a u s a n n e , J a n -

u a r y 1 9 9 3 .

9 7 P . I e n n e . P r o g r a m m a b l e V L S I S y s t o l i c P r o c e s s o r s f o r N e u r a l N e t w o r k a n d M a -

t r i x C o m p u t a t i o n s . P h D t h e s i s , S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y - L a u s a n n e ,

L a u s a n n e , E P F L , 1 9 9 6 . T h e s i s 1 5 2 5 .

9 8 P . I e n n e , T . C o r n u , a n d G . K u h n . S p e c i a l - p u r p o s e d i g i t a l h a r d w a r e f o r n e u r a l n e t -

w o r k s : A n a r c h i t e c t u r a l s u r v e y . J o u r n a l o f V L S I S i g n a l P r o c e s s i n g , p a g e s 1 3 1 : 5

2 5 , 1 9 9 6 .

9 9 P . I e n n e a n d G . K u h n . D i g i t a l s y s t e m s f o r n e u r a l n e t w o r k s . I n P . P a p a m i c h a l i s a n d

R . K e r w i n , e d i t o r s , D i g i t a l S i g n a l P r o c e s s i n g T e c h n o l o g y , v o l u m e C R 5 7 o f C r i t i c a l

R e v i e w S e r i e s , p a g e s 3 1 4 3 4 5 . S P I E O p t i c a l E n g i n e e r i n g , 1 9 9 5 .

1 0 0 A . J a i n , J . M a o , a n d K . M o h i u d d i n . A r t i c i a l n e u r a l n e t w o r k s : A t u t o r i a l . I E E E

C o m p u t e r , p a g e s 3 1 4 4 , M a r c h 1 9 9 6 .

1 0 1 W . J a m e s . T h e P r i n c i p l e s o f P s y c h o l o g y . D o v e r , N e w Y o r k , 1 8 9 0 .

1 0 2 M . I . J o r d a n a n d S . R u s s e l l . C o m p u t a t i o n a l I n t e l l i g e n c e . I n T h e M I T E n c y c l o p e d i a

o f t h e C o g n i t i v e S c i e n c e s , p a g e s l x x i i i x c . T h e M I T P r e s s , 1 9 9 9 .

1 0 3 K - T e a m S A , L a u s a n n e , S w i t z e r l a n d . K h e p e r a U s e r M a n u a l , v e r d i o n 4 . 0 6 e d i t i o n ,

N o v e m b e r 1 9 9 5 .

1 0 4 L . P . K a e l b l i n g , M . L . L i t t m a n , a n d A . W . M o o r e . R e i n f o r c e m e n t L e a r n i n g : A S u r -

v e y . A r t i c i a l I n t e l l i g e n c e R e s e a r c h , 4 : 2 3 7 2 8 5 , 1 9 9 6 .

1 0 5 R . E . K a l i l . S y n a p s e F o r m a t i o n i n t h e D e v e l o p i n g B r a i n . S c i e n t i c A m e r i c a n , p a g e s

3 8 4 5 , D e c e m b e r 1 9 9 0 .

1 0 6 S . K a s k i a n d T . K o h o n e n . W i n n e r - T a k e - A l l N e t w o r k s f o r P h y s i o l o g i c a l M o d e l s o f

C o m p e t i t i v e L e a r n i n g . N e u r a l N e t w o r k s , 7 6 7 : 9 7 3 9 8 4 , 1 9 9 4 .

1 0 7 T . K o h o n e n . S e l f - O r g a n i z i n g M a p s . N u m b e r 3 0 i n I n f o r m a t i o n S c i e n c e s . S p r i n g e r ,

s e c o n d e d i t i o n , 1 9 9 7 .

1 0 8 J . F . K o l e n . E x p l o r i n g t h e C o m p u t a t i o n a l C a p a b i l i t i e s o f R e c u r r e n t N e u r a l N e t -

w o r k s . P h D t h e s i s , O h i o S t a t e U n i v e r s i t y , 1 9 9 4 .




1 0 9 K . K o l l m a n n , K . R i e m s c h n e i d e r , a n d H . C . Z e i d l e r . O n - c h i p B a c k p r o p a g a t i o n t r a i n -

i n g u s i n g p a r a l l e l s t o c h a s t i c b i t s t r e a m s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l

C o n f e r e n c e o n M i c r o e l e c t r o n i c s f o r N e u r a l N e t w o r k s a n d F u z z y S y s t e m s M i c r o n e u -

r o ' 9 6 , p a g e s 1 4 9 1 5 6 , 1 9 9 6 .

1 1 0 J . R . K o z a . G e n e t i c P r o g r a m m i n g . T h e M I T P r e s s , C a m b r i d g e , M a s s a c h u s e t t s ,

1 9 9 2 .

1 1 1 R . M . K r e t c h m a r a n d C . W . A n d e r s o n . C o m p a r i s o n o f C M A C s a n d R a d i a l B a -

s i s F u n c t i o n s f o r L o c a l F u n c t i o n A p p r o x i m a t o r s i n R e i n f o r c e m e n t L e a r n i n g . I n

P r o c e e d i n g s o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n N e u r a l N e t w o r k s , I C N N ' 9 7 , J u n e

1 9 9 7 .

1 1 2 B . J . A . K r s e a n d J . W . M v a n D a m . A d a p t i v e s t a t e s p a c e q u a n t i z a t i o n f o r r e i n f o r c e -

m e n t l e a r n i n g c o l l i s i o n - f r e e n a v i g a t i o n . I n P r o c e e d i n g s o f t h e 1 9 9 2 I E E E R S J I n -

t e r n a t i o n a l C o n f e r e n c e o n I n t e l l i g e n t R o b o t s a n d S y s t e m s , p a g e s 1 3 2 7 1 3 3 2 , 1 9 9 2 .

1 1 3 L . K u v a y e v a n d R . S u t t o n . A p p r o x i m a t i o n i n M o d e l - B a s e d L e a r n i n g . I n P r o c e e d -

i n g s o f t h e I C M L ' 9 7 W o r k s h o p o n M o d e l l i n g i n R e i n f o r c e m e n t L e a r n i n g , V a n d e r b i l t

U n i v e r s i t y , J u l y 1 9 9 7 .

1 1 4 R . A . L e v i n s o n . A s e l f - l e a r n i n g , p a t t e r n - o r i e n t e d C h e s s p r o g r a m . I C C A J o u r n a l ,

1 2 4 : 2 0 7 2 1 5 , 1 9 8 9 .

1 1 5 C . - J . L i n a n d C . - T . L i n . R e i n f o r c e m e n t L e a r n i n g f o r A n A R T - B a s e d F u z z y A d a p -

t i v e L e a r n i n g C o n t r o l N e t w o r k . I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , 7 3 : 7 0 9

7 3 1 , 1 9 9 6 .

1 1 6 J . L . L i n a n d T . M . M i t c h e l l . R e i n f o r c e m e n t l e a r n i n g w i t h h i d d e n s t a t e s . I n J -

A . M e y e r , H . L . R o i t b l a t , a n d S . W . W i l s o n , e d i t o r s , F r o m A n i m a l s t o A n i m a t s :

P r o c e e d i n g s o f t h e S e c o n d I n t e r n a t i o n a l C o n f e r e n c e o n S i m u l a t i o n o f A d a p t i v e B e -

h a v i o r S A B 9 2 , p a g e s 2 8 1 2 9 0 , 1 9 9 2 .

1 1 7 C . S . L i n d s a y . H a r d w a r e n e u r a l n e t w o r k s . L e c t u r e a t C h a l m e r s U n i v e r s i t y i n G t e -

b o r g , M a r c h 1 9 9 8 .

1 1 8 C . S . L i n d s e y a n d T . L i n d b l a d . R e v i e w o f h a r d w a r e n e u r a l n e t w o r k s : a u s e r ' s p e r -

s p e c t i v e . I n D . J . A m i t e t a l . E d s . , e d i t o r , T h i r d W o r k s h o p o n N e u r a l N e t w o r k s :

F r o m B i o l o g y t o h i g h E n e r g y P h y s i c s , v o l u m e 6 o f I n t e r n a t i o n a l J o u r n a l o f N e u r a l

S y s t e m s . W o r l d S c i e n t i c , S i n g a p u r e , 1 9 9 5 .

1 1 9 M . L . L i t t m a n . M e m o r y l e s s P o l i c i e s : T h e o r e t i c a l L i m i t a t i o n s a n d P r a c t i c a l R e -

s u l t s . I n D . C l i , P . H u s b a n d s , J . M e y e r , a n d S . W . W i l s o n , e d i t o r s , F r o m A n i m a l s

t o A n i m a t s : P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l C o n f e r e n c e o n S i m u l a t i o n o f

A d a p t i v e B e h a v i o r S A B 9 4 , p a g e s 2 3 8 2 4 7 , 1 9 9 4 .

1 2 0 E . L i t t m a n n a n d H . R i t t e r . A d a p t i v e C o l o r S e g m e n t a t i o n - A c o m p a r i s o n o f n e u r a l

a n d s t a t i s t i c a l m e t h o d s . I n I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , p a g e s 1 7 5 1 8 5 ,

J a n u a r y 1 9 9 6 .




1 2 1 J . L o c h a n d S . S i n g h . U s i n g E l i g i b i l i t i e s t r a c e s t o n d t h e b e s t m e m o r y l e s s p o l i c y i n

p a r t i a l l y o b s e r v a b l e M a r k o v d e c i s s i o n p r o c e s s e s . I n P r o c e e d i n g s o f t h e I n t e r n a t i o n a l

C o n f e r e n c e o n M a c h i n e L e a r n i n g I C M L ' 9 8 . M o r g a n K a u f m a n n , 1 9 9 8 .

1 2 2 Y . L p e z - D e - M e n e s e s a n d O . M i c h e l . V i s i o n S e n s o r s o n t h e W e b o t s S i m u l a t o r . I n

P r o c e e d i n g s o f V i r t u a l W o r l d s ' 9 8 , p a g e s 2 6 4 2 7 3 , P a r i s , F r a n c e , 1 - 3 J u l y 1 9 9 8 .

1 2 3 H . H . L u n d , B . W e b b , a n d J . H a l l a m . A R o b o t A t t r a c t e d t o t h e C r i c k e t S p e c i e s

G r y l l u s b i m a c u l a t u s . I n P r o c e e d i n g s o f 4 t h E u r o p e a n C o n f e r e n c e o n A r t i c i a l L i f e

1 9 9 7 . T h e M I T P r e s s , 1 9 9 7 .

1 2 4 W . M a a s s . V a p n i k - c h e r v o n e n k i s d i m e n s i o n o f n e u r a l n e t w o r k s . I n M . A . A r b i b ,

e d i t o r , H a n d b o o k o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 1 0 0 0 1 0 0 3 . M I T

P r e s s , 1 9 9 5 .

1 2 5 W . M a a s s . N e t w o r k s o f S p i k i n g n e u r o n s : T h e t h i r d g e n e r a t i o n o f n e u r a l n e t w o r k

m o d e l s . I n P r o c e e d i n g s o f t h e 7 t h A u s t r a l i a n C o n f e r e n c e o n N e u r a l N e t w o r k s 1 9 9 6 ,

p a g e s 1 1 0 , 1 9 9 6 .

1 2 6 J . M a c C a r t h y . A I a s S p o r t . S c i e n c e , 2 7 6 5 3 1 8 : 1 5 1 8 1 5 1 9 , J u n e 6 1 9 9 6 .

1 2 7 S . M a h a d e v a n a n d J . C o n n e l l . A u t o m a t i c P r o g r a m m i n g o f B e h a v i o r - b a s e d R o b o t s

u s i n g R e i n f o r c e m e n t L e a r n i n g . A r t i c i a l I n t e l l i g e n c e , 5 5 2 - 3 : 3 1 1 3 6 5 , J u n e 1 9 9 2 .

1 2 8 H . A . M a l l o t . L a y e r e d c o m p u t a i o n i n n e u r a l n e t w o r k s . I n M . A . A r b i b , e d i t o r ,

H a n d b o o k o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 5 1 3 5 1 6 . M I T P r e s s , 1 9 9 5 .

1 2 9 D . M a n g e , E . S a n c h e z , A . S t a u e r , G . T e m p e s t i , P . M a r c h a l , a n d C . P i g u e t . E m -

b r y o n i c s : A N e w M e t h o d o l o g y f o r D e s i g n i n g F i e l d - P r o g r a m m a b l e G a t e A r r a y s

w i t h S e l f - R e p a i r a n d S e l f - R e p l i c a t i n g P r o p e r t i e s . I E E E T r a n s a c t i o n s o n V L S I

S y s t e m s , 6 3 : 3 8 7 3 9 9 , S e p t e m b e r 1 9 9 8 .

1 3 0 D . M a n g e a n d M . T o m a s s i n i , e d i t o r s . B i o - I n s p i r e d C o m p u t i n g M a c h i n e s : T o w a r d

N o v e l C o m p u t a t i o n a l M a c h i n e s . P r e s s e s P o l y t e c h n i q u e s e t U n i v e r s i t a i r e s R o m a n -

d e s , L a u s a n n e , S w i t z e r l a n d , 1 9 9 8 .

1 3 1 P . M a r c h a l a n d P . N u s s b a u m . D e m u l t i p l e x e r - B a s e d C e l l s . I n D . M a n g e a n d

M . T o m a s s i n i , e d i t o r s , B i o - I n s p i r e d C o m p u t i n g M a c h i n e s : T o w a r d N o v e l C o m -

p u t a t i o n a l M a c h i n e s , p a g e s 1 6 7 1 8 2 . P r e s s e s P o l y t e c h n i q u e s e t U n i v e r s i t a i r e s R o -

m a n d e s , L a u s a n n e , S w i t z e r l a n d , 1 9 9 8 .

1 3 2 M . M a r c h e s i , G . O r l a n d i , F . P i a z z a , a n d A . U n c i n i . F a s t N e u r a l N e t w o r k s W i t h o u t

M u l t i p l i e r s . I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , 4 1 : 5 3 6 2 , J a n u a r y 1 9 9 3 .

1 3 3 W . M c C u l l o c h a n d W . P i t t s . A l o g i c a l c a l c u l u s o f t h e i d e a s i m m a n e n t i n n e u r a l

n e t s . B u l l e t i n o f M a t h . B i o p h y s . , p a g e s 1 1 5 1 3 7 , 1 9 4 3 .

1 3 4 C . M e a d . A n a l o g V L S I a n d N e u r a l S y t e m s . A d d i s o n - W e s l e y , M a y 1 9 8 9 .




1 3 5 D . L . M e d i n a n d C . M . A g u i l a r . C a t e g o r i z a t i o n . I n T h e M I T E n c y c l o p e d i a o f t h e

C o g n i t i v e S c i e n c e s , p a g e s 1 0 4 1 0 6 . T h e M I T P r e s s , 1 9 9 9 .

1 3 6 D . M i c h i e a n d R . A . C h a m b e r s . B O X E S : A n e x p e r i m e n t i n a d a p t i v e c o n t r o l . I n

E . D a l e a n d D . M i c h i e , e d i t o r s , M a c h i n e I n t e l l i g e n c e 2 , p a g e s 1 3 7 1 5 2 . E d i n b u r g h

O l i v e r a n d B o y d , 1 9 6 8 .

1 3 7 J . R . M i l l a n . R a p i d , S a f e , a n d I n c r e m e n t a l L e a r n i n g o f N a v i g a t i o n S t r a t e g i e s . I E E E

T r a n s a c t i o n s o n S y s t e m s , M a n a n d C y b e r n e t i c s P a r t B , 2 6 3 : 4 0 8 4 2 0 , J u n e

1 9 9 6 .

1 3 8 W . T . M i l l e r - I I I , R . S . S u t t o n , a n d P . J . W e r b o s , e d i t o r s . N e u r a l N e t w o r k s f o r C o n -

t r o l . T h e M I T P r e s s , 1 9 9 5 .

1 3 9 F . M o n d a d a , E . F r a n z i , a n d P . I e n n e . M o b i l e r o b o t m i n i a t u r i z a t i o n : A t o o l f o r

i n v e s t i g a t i n g i n c o n t r o l a l g o r i t h m s . I n P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l S y m -

p o s i u m o n E x p e r i m e n t a l R o b o t i c s , K y o t o , J a p a n , 1 9 9 3 .

1 4 0 J . M o o d y a n d C . D a r k e n . L e a r n i n g w i t h l o c a l i z e d r e c e p t i v e e l d s . I n D . T o u r e t -

s k y , G . H i n t o n , a n d T . S e j n o w s k i , e d i t o r s , P r o c e e d i n g s o f t h e 1 9 8 8 C o n n e c t i o n i s t

M o d e l s , p a g e s 1 3 3 1 4 3 . S u m m e r S c h o o l C a r n e g i e M e l l u n U n i v e r s i t y , M o r g a n K a u f -

m a n n , J u n e 1 7 - 2 6 1 9 8 8 .

1 4 1 J . M o o d y a n d C . D a r k e n . F a s t L e a r n i n g i n N e t w o r k s o f L o c a l l y - T u n n e d P r o c e s s i n g

U n i t s . N e u r a l C o m p u t a t i o n , 1 : 2 8 1 2 9 4 , 1 9 8 9 .

1 4 2 A . W . M o o r e a n d C . G . A t k e s o n . M e m o r y - B a s e d R e i n f o r c e m e n t L e a r n i n g : E c i e n t

C o m p u t a t i o n w i t h P r i o r i t i z e d S w e e p i n g . I n S . J . H a n s o n , J . D . C o w a n , a n d C . L e e

G i l e s , e d i t o r s , A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , v o l u m e 5 , p a g e s

2 6 3 2 7 0 , S a n M a t e o , C A , 1 9 9 3 . M o r g a n K a u f m a n n .

1 4 3 B . M o o r e . A R T 1 a n d P a t t e r n C l u s t e r i n g . I n D . T o u r e t s k y , G . H i n t o n , a n d

T . S e j n o w s k i , e d i t o r s , P r o c e e d i n g s o f t h e 1 9 8 8 C o n n e c t i o n i s t M o d e l s , p a g e s 1 7 4

1 8 5 . S u m m e r S c h o o l C a r n e g i e M e l l u n U n i v e r s i t y , M o r g a n K a u f m a n n , J u n e 1 7 - 2 6

1 9 8 8 .

1 4 4 J . M . M o r e n o , J . M a d r e n a s , S . S a n A n s e l m o , F . C a s t i l l o , a n d J . C a b e s t a n y . D i g -

i t a l H a r d w a r e I m p l e m e n t a t i o n o f R O I I n c r e m e n t a l A l g o r i t h m s . I n J . M i r a a n d

F . S a n d o v a l , e d i t o r s , F r o m n a t u r a l t o A r t i c i a l N e u r a l C o m p u t a t i o n , v o l u m e 9 3 0

o f L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , p a g e s 7 6 1 7 7 0 . S p r i n g e r V e r l a g , 1 9 9 5 .

1 4 5 J . M . M o r e n o , J . M a d r e n a s , J . F a u r a , J . C a b e s t a n y , a n d J . M . I n s e n s e r . F e a s i -

b l e E v o l u t i o n a r y a n d S e l f - R e p a i r i n g H a r d w a r e b y M e a n s o f t h e D y n a m i c R e c o n -

g u r a t i o n C a p a b i l i t i e s o f t h e F I P S O C D e v i c e s . I n M . S i p p e r , D . M a n g e , a n d

A . P r e z - U r i b e , e d i t o r s , E v o l v a b l e S y s t e m s : f r o m B i o l o g y t o H a r d w a r e , v o l u m e

1 4 7 8 o f L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , p a g e s 3 4 5 3 5 5 . S p r i n g e r - V e r l a g , 1 9 9 8 .

1 4 6 J . M . M o r e n o - A r s t e g u i . V L S I A r c h i t e c t u r e f o r E v o l u t i v e N e u r a l M o d e l s . P h D

t h e s i s , U n i v e r s i t a t P o l y t c n i c a d e C a t a l u n y a , D e c e m b e r 1 9 9 4 .




1 4 7 E . M o s a n y a , M . G o e k e , J . L i n d e r , J . - Y . P e r r i e r , F . R a m p o g n a , a n d E . S a n c h e z . A

p l a t f o r m f o r C o - d e s i g n a n d C o - s y n t h e s i s b a s e d o n F P G A . I n P r o c e e d i n g s o f t h e 7 t h

I E E E I n t e r n a t i o n a l W o r k s h o p o n R a p i d S y s t e m P r o t o t y p i n g , p a g e s 1 1 1 6 , 1 9 9 6 .

1 4 8 S . N o l , D . P a r i s i , a n d J . L . E l m a n . L e a r n i n g a n d e v o l u t i o n i n n e u r a l n e t w o r k s .

A d a p t i v e B e h a v i o r , 3 1 : 5 2 8 , 1 9 9 4 .

1 4 9 Y . O h t a . K n o w l e d g e - B a s e d I n t e r p r e t a t i o n o f O u t d o o r N a t u r a l C o l o r S c e n e s . P i t -

m a n A d v a n c e d P u b l i s h i n g P r o g r a m , 1 9 8 5 .

1 5 0 D . K . O l s o n . L e a r n i n g t o p l a y g a m e s f r o m e x p e r i e n c e : A n a p p l i c a t i o n o f a r t i c i a l

n e u r a l n e t w o r k s a n d t e m p o r a l d i e r e n c e l e a r n i n g . M a s t e r ' s t h e s i s , P a c i c L u t h e r a n

U n i v e r s i t y , W a s h i n g t o n , 1 9 9 3 .

1 5 1 J . P e n g a n d R . J . W i l l i a m s . E c i e n t L e a r n i n g a n d P l a n n i n g W i t h i n t h e D y n a

F r a m e w o r k . A d a p t i v e B e h a v i o r , 1 4 : 4 3 7 4 5 4 , 1 9 9 3 .

1 5 2 A . P r e z - U a n d E . S a n c h e z . T h e F A S T A r c h i t e c t u r e : A N e u r a l N e t w o r k w i t h

F l e x i b l e A d a p t a b l e - S i z e T o p o l o g y . I n P r o c e e d i n g s o f t h e F o u r t h I n t e r n a t i o n a l C o n -

f e r e n c e o n M i c r o e l e c t r o n i c s f o r N e u r a l N e t w o r k s a n d F u z z y S y s t e m s M i c r o n e u r o ' 9 6 ,

p a g e s 3 3 7 3 4 0 , L a u s a n n e , S w i t z e r l a n d , F e b r u a r y 1 9 9 6 . I E E E .

1 5 3 A . P r e z - U r i b e . A r t i c i a l N e u r a l N e t w o r k s : A l g o r i t h m s a n d H a r d w a r e I m p l e m e n -

t a t i o n . I n D . M a n g e a n d M . T o m a s s i n i , e d i t o r s , B i o - I n s p i r e d C o m p u t i n g M a c h i n e s :

T o w a r d N o v e l C o m p u t a t i o n a l M a c h i n e s , p a g e s 2 8 9 3 1 6 . P r e s s e s P o l y t e c h n i q u e s e t

U n i v e r s i t a i r e s R o m a n d e s , L a u s a n n e , S w i t z e r l a n d , 1 9 9 8 .

1 5 4 A . P r e z - U r i b e a n d E . S a n c h e z . F P G A I m p l e m e n t a t i o n o f a n A d a p t a b l e - S i z e N e u -

r a l N e t w o r k . I n C . v o n d e r M a l s b u r g , W . v o n S e e l e n , J . C . V o r b r g g e n , a n d

B . S e n d h o , e d i t o r s , P r o c e e d i n g s o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n A r t i c i a l N e u -

r a l N e t w o r k s I C A N N 9 6 , v o l u m e 1 1 1 2 o f L e c t u r e N o t e s i n C o m p u t e r S c i e n c e ,

p a g e s 3 8 3 3 8 8 . S p r i n g e r - V e r l a g , H e i d e l b e r g , 1 9 9 6 .

1 5 5 A . P r e z - U r i b e a n d E . S a n c h e z . N e u r a l N e t w o r k s S t r u c t u r e O p t i m i z a t i o n t h r o u g h

O n - l i n e H a r d w a r e E v o l u t i o n . I n P r o c e e d i n g s o f t h e W o r l d C o n g r e s s o n N e u r a l

N e t w o r k s W C N N 9 6 , p a g e s 1 0 4 1 1 0 4 4 . I N N S I n t e r n a t i o n a l N e u r a l N e t w o r k s S o -

c i e t y P r e s s , 1 9 9 6 .

1 5 6 A . P r e z - U r i b e a n d E . S a n c h e z . S p e e d i n g - U p A d a p t i v e H e u r i s t i c C r i t i c L e a r n i n g

w i t h F P G A - b a s e d U n s u p e r v i s e d C l u s t e r i n g . I n P r o c e e d i n g s o f t h e I n t e r n a t i o n a l

C o n f e r e n c e o n E v o l u t i o n a r y C o m p u t a t i o n I C E C 9 7 , p a g e s 6 8 5 6 8 9 , I E E E P r e s s ,

A p r i l 1 9 9 7 .

1 5 7 A . P r e z - U r i b e a n d E . S a n c h e z . S t r u c t u r e - A d a p t a b l e N e u r o c o n t r o l l e r s : A

H a r d w a r e - F r i e n d l y A p p r o a c h . I n R o b e r t o M o r e n o - D a z J o s M i r a a n d J o a n

C a b e s t a n y , e d i t o r s , B i o l o g i c a l a n d A r t i c i a l C o m p u t a t i o n : F r o m N e u r o s c i e n c e t o

t e c h n o l o g y , p a g e s 1 2 5 1 1 2 5 9 , L e c t u r e N o t e s i n C o m p u t e r S c i e n c e 1 2 4 0 , S p r i n g e r

V e r l a g , 1 9 9 7 .




1 5 8 A . P r e z - U r i b e a n d E . S a n c h e z . B l a c k j a c k a s a T e s t B e d f o r L e a r n i n g S t r a t e g i e s

i n N e u r a l N e t w o r k s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l J o i n t C o n f e r e n c e

o n N e u r a l N e t w o r k s I J C N N ' 9 8 , v o l u m e 3 , p a g e s 2 0 2 2 2 0 2 7 , A n c h o r a g e , M a y 4 - 9

1 9 9 8 .

1 5 9 A . P r e z - U r i b e a n d E . S a n c h e z . A D i g i t a l A r t i c i a l B r a i n A r c h i t e c t u r e f o r M o b i l e

A u t o n o m o u s R o b o t s . I n M . S u g i s a k a a n d H . T a n a k a , e d i t o r s , P r o c e e d i n g s o f t h e

F o u r t h I n t e r n a t i o n a l S y m p o s i u m o n A r t i c i a l L i f e a n d R o b o t i c s A R O B ' 9 9 , p a g e s

2 4 0 2 4 3 , O i t a , J a p a n , 1 9 9 9 .

1 6 0 A . P r e z - U r i b e a n d E . S a n c h e z . S t r u c t u r e A d a p t a t i o n i n A r t i c i a l N e u r a l N e t w o r k s

t h r o u g h A d a p t i v e C l u s t e r i n g a n d t h r o u g h G r o w t h i n S t a t e S p a c e . I n J . M i r a

a n d J . V . S n c h e z - A n d r s , e d i t o r s , F o u n d a t i o n s a n d T o o l s f o r N e u r a l M o d e l i n g ,

v o l u m e I o f L e c t u r e N o t e s i n C o m p u t e r S c i e n c e 1 6 0 6 , p a g e s 5 5 6 5 6 5 . S p r i n g e r

V e r l a g , 1 9 9 9 .

1 6 1 J . P l a t t . A R e s o u r c e - A l l o c a t i n g N e t w o r k f o r F u n c t i o n I n t e r p o l a t i o n . N e u r a l C o m -

p u t a t i o n , 3 : 2 1 3 2 2 5 , 1 9 9 1 .

1 6 2 T . P o g g i o . V i s i o n a n d L e a r n i n g . I n T h e M I T E n c y c l o p e d i a o f t h e C o g n i t i v e S c i -

e n c e s , p a g e s 8 6 3 8 6 4 . T h e M I T P r e s s , 1 9 9 9 .

1 6 3 T . P o g g i o a n d F . G i r o s i . R e g u l a r i z a t i o n A l g o r i t h m s f o r L e a r n i n g T h a t A r e E q u i v -

a l e n t t o M u l t i l a y e r N e t w o r k s . S c i e n c e , 1 9 9 0 .

1 6 4 S . R . Q u a r t z a n d T . J . S e j n o w s k i . T h e n e u r a l b a s i s o f c o g n i t i v e d e v e l o p m e n t : A

c o n s t r u c t i v i s m m a n i f e s t o . B e h a v i o r a l a n d B r a i n S c i e n c e s , 2 0 4 : 5 3 7 + , D e c e m b e r

1 9 9 7 .

1 6 5 P . R a k i c , J - B . B o u r g e o i s , a n d P . S . G o l d m a n - R a k i c . S y n a p t i c d e v e l o p m e n t o f t h e

c e r e b r a l c o r t e x : i m p l i c a t i o n s f o r l e a r n i n g , m e m o r y , a n d m e n t a l i l l n e s s . I n J . v a n

P e l t , M . A . C o r n e r , H . B . M . U y l i n g s , a n d F . H . L o p e s d a S i l v a , e d i t o r s , P r o g r e s s i n

B r a i n R e s e a r c h , v o l u m e 1 0 2 , p a g e s 2 2 7 2 4 3 . E l s e v i e r S c i e n c e , 1 9 9 4 .

1 6 6 R . R e e d . P r u n i n g A l g o r i t h m s - A S u r v e y . I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s ,

4 5 : 7 4 0 7 4 7 , S e p t e m b e r 1 9 9 3 .

1 6 7 D . L . R e i l l y , L . N . C o o p e r , a n d C . E l b a u m . A N e u r a l M o d e l f o r C a t e g o r y L e a r n i n g .

B i o l o g i c a l C y b e r n e t i c s , p a g e s 3 5 4 1 , 1 9 8 2 .

1 6 8 L . M . R e y n e r i . W e i g h t e d R a d i a l B a s i s F u n c t i o n s f o r I m p r o v e d P a t t e r n R e c o g n i t i o n

a n d S i g n a l P r o c e s s i n g . N e u r a l P r o c e s s i n g L e t t e r s , 2 3 : 2 6 , 1 9 9 5 .

1 6 9 M . B . R i n g . C o n t i n u a l l e a r n i n g i n r e i n f o r c e m e n t e n v i r o n m e n t s . P h D t h e s i s , T h e

U n i v e r s i t y o f T e x a s a t A u s t i n , A u g u s t 1 9 9 4 .

1 7 0 B . D . R i p l e y . P a t t e r n R e c o g n i t i o n a n d N e u r a l N e t w o r k s . C a m b r i d g e U n i v e r s i t y

P r e s s , 1 9 9 6 .




1 7 1 F . R o s e n b l a t t . P r i n c i p l e s o f N e u r o d y n a m i c s : P e r c e p t r o n s a n d t h e t h e o r y o f b r a i n

m e c h a n i c s . S p a r t a n B o o k s , W a s h i n g t o n D . C . , 1 9 6 2 .

1 7 2 A . R o y . B r a i n ' s i n t e r n a l m e c h a n i s m s - a n e w p a r a d i g m . I n P r o c e e d i n g s o f t h e

I n t e r n a t i o n a l J o i n t C o n f e r e n c e o n N e u r a l N e t w o r k s I J C N N ' 9 9 , p a g e t o a p p e a r ,

W a s h i n g t o n D . C . , 1 9 9 9 .

1 7 3 A . R o y a n d R . M i r a n d a . F u z z y L o g i c , N e u r a l N e t w o r k s a n d B r a i n - l i k e L e a r n i n g .

I n P r o c e e d i n g s o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n N e u r a l N e t w o r k s I C N N ' 9 7 ,

v o l u m e 1 , p a g e s 5 2 2 5 2 7 , H o u s t o n , 1 9 9 7 .

1 7 4 D . E . R u m e l h a r t , G . E . H i n t o n , a n d R . J . W i l l i a m s . L e a r n i n g i n t e r n a l r e p r e s e n a t i o n s

b y e r r o r p r o p a g a t i o n . I n D . E . R u m e l h a r t , J . L . M c C l e l l a n d , a n d P D P R e s e a r c h

G r o u p , e d i t o r s , P a r a l l e l D i s t r i b u t e d P r o c e s s i n g : E x p l o r a t i o n s i n t h e M i c r o s t r u c t u r e

o f C o g i n i t i o n , v o l u m e 1 , p a g e s 3 1 8 3 6 2 . T h e M I T P r e s s , C a m b r i d g e , M A , 1 9 8 6 .

1 7 5 G . R u m m e r y a n d M . N i r a n j a n . O n - l i n e q - l e a r n i n g u s i n g c o n n e c t i o n i s t s y s t e m s .

T e c h n i c a l R e p o r t C U E D F - I N F E N G T R 1 6 6 , C a m b r i d g e U n i v e r s i t y E n g i n e e r i n g

D e p a r t m e n t , 1 9 9 4 .

1 7 6 A . L . S a m u e l . S o m e s t u d i e s i n M a c h i n e L e a r n i n g U s i n g t h e G a m e o f C h e c k e r s . I B M

J o u r n a l , p a g e s 2 1 1 2 2 9 , J u l y 1 9 5 9 .

1 7 7 E . S a n c h e z . F i e l d P r o g r a m m a b l e G a t e A r r a y F P G A c i r c u i t s . I n S p r i n g e r V e r l a g ,

e d i t o r , T o w a r d s E v o l v a b l e H a r d w a r e , p a g e s 1 1 8 , 1 9 9 6 .

1 7 8 E . S a n c h e z . A n i n t r o d u c t i o n t o d i g i t a l s y s t e m s . I n D . M a n g e a n d M . T o m a s s i n i ,

e d i t o r s , B i o - I n s p i r e d C o m p u t i n g M a c h i n e s : T o w a r d N o v e l C o m p u t a t i o n a l M a -

c h i n e s , p a g e s 1 3 4 7 . P r e s s e s P o l y t e c h n i q u e s e t U n i v e r s i t a i r e s R o m a n d e s , L a u s a n n e ,

S w i t z e r l a n d , 1 9 9 8 .

1 7 9 E . S a n c h e z , M . S i p p e r , J . - O . H a e n n i , J . - L . B e u c h a t , A . S t a u e r , a n d A . P r e z -

U r i b e . S t a t i c a n d D y n a m i c C o n g u r a b l e S y s t e m s . I E E E T r a n s a c t i o n s o n C o m -

p u t e r s , 4 8 6 : 5 5 6 5 6 4 , J u n e 1 9 9 9 .

1 8 0 S . S c h a a l a n d C . G . A t k e s o n . C o n s t r u c t i v e I n c r e m e n t a l L e a r n i n g F r o m O n l y L o c a l

I n f o r m a t i o n . N e u r a l C o m p u t a t i o n , 1 0 8 : 2 0 4 7 2 0 8 4 , N o v e m b e r 1 9 9 8 .

1 8 1 C . S c h e i e r . I n c r e m e n t a l C a t e g o r y L e a r n i n g i n a R e a l W o r l d A r t i f a c t U s i n g G r o w -

i n g D y n a m i c C e l l S t r u c t u r e s . I n M . V e r l e y s e n , e d i t o r , P r o c e e d i n g s o f t h e 4 t h E u r o -

p e a n S y m p o s i u m o n A r t i c i a l N e u r a l N e t w o r k s E S A N N ' 9 6 , p a g e s 1 1 7 1 2 2 , B r u g e s ,

1 9 9 6 .

1 8 2 G . S c h r a m , B . J . A . K r s e , R . B a b u s k a , a n d A . J . K r i j g s m a n . N e u r o c o n t r o l b y

R e i n f o r c e m e n t L e a r n i n g . J o u r n a l A J o u r n a l o n A u t o m a t i c C o n t r o l , 3 7 3 : 5 9

6 4 , 1 9 9 6 .




1 8 3 N . N . S c h r a u d o l p h , P . D a y a n , a n d T . J . S e j n o w s k i . T e m p o r a l D i e r e n c e L e a r n i n g

o f P o s i t i o n E v a l u a t i o n i n t h e G a m e o f G o . I n J . D . C o w a n , G . T e s a u r o , a n d J . A l -

s p e c t o r , e d i t o r s , A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , v o l u m e 6 ,

p a g e s 8 1 7 8 2 4 . M o r g a n K a u f m a n n P u b l i s h e r s , 1 9 9 4 .

1 8 4 W . S c h u l t z , P . D a y a n , a n d P . R e a d M o n t a g u e . A N e u r a l S u b s t r a t e o f P r e d i c t i o n

a n d R e w a r d . S c i e n c e , 2 7 5 : 1 5 9 3 1 5 9 9 , 1 4 M a r c h 1 9 9 7 .

1 8 5 A . S c h t z . N e u r o a n a t o m y i n a c o m p u t a t i o n a l p e r s p e c t i v e . I n M . A . A r b i b , e d i t o r ,

H a n d b o o k o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 6 2 2 6 2 6 . M I T P r e s s , 1 9 9 5 .

1 8 6 J . S e a r l e . M i n d s , B r a i n s , a n d P r o g r a m s . B e h a v i o r a l a n d B r a i n S c i e n c e s , 3 : 4 1 7 4 2 4 ,

1 9 8 0 .

1 8 7 J . S e a r l e . I s t h e B r a i n ' s M i n d a C o m p u t e r P r o g r a m ? S c i e n t i c A m e r i c a n , 2 6 2 : 2 6

3 1 , 1 9 9 0 .

1 8 8 T . S e r r a n o - G o t a r r e d o n d a , B . L i n a r e s - B a r r a n c o , a n d A . G . A n d r e o u . A d a p t i v e R e s -

o n a n c e T h e o r y M i c r o c h i p s , v o l u m e 4 5 6 o f S e r i e s i n e n g i n e e r i n g a n d c o m p u t e r s c i -

e n c e . K l u w e r A c a d e m i c , B o s t o n , A u g u s t 1 9 9 8 .

1 8 9 C . E . S h a n n o n . A C h e s s - P l a y i n g M a c h i n e . S c i e n t i c A m e r i c a n , F e b r u a r y 1 9 5 0 .

a l s o i n C l a u d e E l w o o d S h a n n o n . C o l l e c t e d P a p e r s , J . A . S l o a n e a n d A . D . W y n e r

E d s . , I E E E P r e s s , p p . 6 5 7 - 6 6 6 , 1 9 9 2 .

1 9 0 C . E . S h a n n o n . P r e s e n t a t i o n o f a M a z e - S o l v i n g M a c h i n e . I n T r a n s a c t i o n s o f t h e

8 t h C y b e r n e t i c s C o n f e r e n c e . J o s i a h M a c y J r . F o u n d a t i o n , 1 9 5 2 . a l s o i n C l a u d e

E l w o o d S h a n n o n . C o l l e c t e d P a p e r s , J . A . S l o a n e a n d A . D . W y n e r E d s . , I E E E

P r e s s , p p . 6 8 1 - 6 8 7 , 1 9 9 2 .

1 9 1 C . J . S h a t z . T h e D e v e l o p i n g B r a i n . S c i e n t i c A m e r i c a n , p a g e s 3 5 4 1 , S e p t e m b e r

1 9 9 2 .

1 9 2 J . S h a w e - T a y l o r , P . J e a v o n s , a n d M . v a n D a a l e n . P r o b a b i l i s t i c B i t S t r e a m N e u r a l

C h i p : T h e o r y . C o n n e c t i o n S c i e n c e , 3 3 : 3 1 7 3 2 8 , 1 9 9 1 .

1 9 3 M . S i p p e r , E . S a n c h e z , D . M a n g e , M . T o m a s s i n i , A . P r e z - U r i b e , a n d A . S t a u e r .

A P h y l o g e n e t i c , O n t o g e n e t i c , a n d E p i g e n e t i c V i e w o f B i o - I n s p i r e d H a r d w a r e S y s -

t e m s . I E E E T r a n s a c t i o n s o n E v o l u t i o n a r y C o m p u t a t i o n , 1 1 : 8 3 9 7 , A p r i l 1 9 9 7 .

1 9 4 J . S i r o s h a n d R . M i i k k u l a i n e n . C o o p e r a t i v e s e l f - o r g a n i z a t i o n o f a e r e n t a n d l a t e r a l

c o n n e c t i o n s i n c o r t i c a l m a p s . B i o l o g i c a l C y b e r n e t i c s , 7 1 1 : 6 6 7 8 , 1 9 9 4 .

1 9 5 B . F . S k i n n e r . T h e B e h a v i o r o f O r g a n i s m s . A p p l e t o n - C e n t u r y - C r o f t s , N e w Y o r k ,

1 9 3 8 .

1 9 6 D . F . S p e c h t . P r o b a b i l i s t i c n e u r a l n e t w o r k s . N e u r a l N e t w o r k s , 3 : 1 0 9 1 1 8 , 1 9 9 0 .

1 9 7 R . S . S u t t o n . L e a r n i n g t o p r e d i c t b y t h e m e t h o d s o f T e m p o r a l D i e r e n c e s . M a c h i n e

L e a r n i n g , 3 : 9 4 4 , 1 9 8 8 .




1 9 8 R . S . S u t t o n . I n t e g r a t e d a r c h i t e c t u r e s f o r L e a r n i n g , P l a n n i n g , a n d R e a c t i n g b a s e d

o n a p p r o x i m a t i n g D y n a m i c P r o g r a m m i n g . I n M o r g a n K a u f m a n n , e d i t o r , P r o c e e d -

i n g s o f t h e S e v e n t h I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n i n g , p a g e s 2 1 6 2 2 4 ,

1 9 9 0 .

1 9 9 R . S . S u t t o n . P e r s o n a l c o m m u n i c a t i o n , F e b r u a r y 1 9 9 8 .

2 0 0 R . S . S u t t o n a n d A . G . B a r t o . R e i n f o r c e m e n t L e a r n i n g : A n I n t r o d u c t i o n . T h e M I T

P r e s s , 1 9 9 8 .

2 0 1 R . S . S u t t o n , D . M c A l l e s t e r , S . S i n g h , a n d Y . M a n s o u r . P o l i c y G r a d i e n t M e t h o d s

f o r R e i n f o r c e m e n t L e a r n i n g w i t h F u n c t i o n A p p r o x i m a t i o n . 1 9 9 9 S u b m i t t e d .

2 0 2 J . T a n i . M o d e l - B a s e d L e a r n i n g f o r M o b i l e R o b o t N a v i g a t i o n f r o m t h e D y n a m i c a l

S y s t e m s P e r s p e c t i v e . I E E E T r a n s a c t i o n s o n S y s t e m s , M a n a n d C y b e r n e t i c s P a r t

B , 2 6 3 : 4 2 1 4 3 6 , J u n e 1 9 9 6 .

2 0 3 G . T e m p e s t i . A S e l f - R e p a i r i n g M u l t i p l e x e r - B a s e d F P G A I n s p i r e d b y B i o l o g i c a l

P r o c e s s e s . P h D t h e s i s , S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y - L a u s a n n e , L a u s a n n e ,

E P F L , 1 9 9 8 . T h e s i s 1 8 2 7 .

2 0 4 G . T e s a u r o . T D - G a m m o n , a S e l f - T e a c h i n g B a c k g a m m o n P r o g r a m , A c h i e v e s

M a s t e r - L e v e l P l a y . N e u r a l C o m p u t a t i o n , 6 2 : 2 1 5 2 1 9 , 1 9 9 4 .

2 0 5 G . T e s a u r o . T e m p o r a l D i e r e n c e L e a r n i n g a n d T D - G a m m o n . C o m m u n i c a t i o n s o f

t h e A C M , 3 8 3 : 5 8 6 8 , M a r c h 1 9 9 5 .

2 0 6 C . K . T h a m a n d R . W . P r a g e r . R e i n f o r c e m e n t L e a r n i n g f o r M u l t i - L i n k e d M a n i p u l a -

t o r C o n t r o l . T e c h n i c a l R e p o r t C U E D F - I N F E N G T R 1 0 4 , C a m b r i d g e U n i v e r s i t y ,

E n g i n e e r i n g D e p a r t m e n t , J u n e 2 4 1 9 9 2 .

2 0 7 A . T h o m p s o n . A r t i c i a l E v o l u t i o n i n t h e P h y s i c a l W o r l d . I n T . G o m i , e d i t o r ,

E v o l u t i o n a r y R o b o t i c s : F r o m I n t e l l i g e n t R o b o t s t o A r t i c i a l L i f e E R ' 9 7 , p a g e s

1 0 1 1 2 5 . A A I B o o k s , 1 9 9 7 .

2 0 8 E . L . T h o r n d i k e . A n i m a l I n t e l l i g e n c e : E x p e r i m e n t a l S t u d i e s . M c M i l l a n , 1 9 1 1 .

2 0 9 S . T h r u n . T h e r o l e o f e x p l o r a t i o n i n l e a r n i n g c o n t r o l . I n D . A . W h i t e a n d D . A .

S o f g e , e d i t o r s , H a n d b o o k o f I n t e l l i g e n t C o n t r o l : N e u r a l , F u z z y a n d A d a p t i v e A p -

p r o a c h e s , p a g e s 5 2 7 5 5 9 . V a n N o s t r a n d R e i n h o l d , N e w Y o r k , 1 9 9 2 .

2 1 0 S . T h r u n . E x p l o r a t i o n i n A c t i v e L e a r n i n g . I n M . A . A r b i b , e d i t o r , H a n d b o o k o f

B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 3 8 1 3 8 4 . T h e M I T P r e s s , 1 9 9 5 .

2 1 1 N . T r e d e n n i c k . M i c r o p r o c e s s o r - b a s e d c o m p u t e r s . I E E E C o m p u t e r : 5 0 y e a r s o f

c o m p u t i n g , p a g e s 2 7 3 7 , O c t o b e r 1 9 9 6 .

2 1 2 S . M . T r i m b e r g e r . F i e l d - P r o g r a m m a b l e G a t e A r r a y T e c h n o l o g y . K l u w e r A c a d e m i c

P u b l i s h e r s , B o s t o n , 1 9 9 4 .




2 1 3 A . M . T u r i n g . I n t e l l i g e n t M a c h i n e r y . R e p o r t , N a t i o n a l P h y s i c s L a b o r a t o r y , 1 9 4 8 .

a l s o i n M e c h a n i c a l I n t e l l i g e n c e , C o l l e c t e d W o r k s o f A . M . T u r i n g , N o r t h H o l l a n d ,

1 9 9 2 .

2 1 4 A . M . T u r i n g . C o m p u t i n g m a c h i n e r y a n d i n t e l l i g e n c e . M i n d , L I X 3 6 0 : 4 3 3 4 6 0 ,

1 9 5 0 .

2 1 5 P . T u r n e y . M y t h s a n d L e g e n d s o f t h e B a l d w i n E e c t . I n P r o c e e d i n g s o f t h e 1 3 t h

I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n i n g I C M L - 9 6 , p a g e s 1 3 5 1 4 2 , 1 9 9 6 .

2 1 6 J . V a u c l a i r . L ' i n t e l l i g e n c e d e l ' a n i m a l . d i t i o n s d u S e u i l , P a r i s , O c t o b e r 1 9 9 5 .

2 1 7 J . V i l l a s e n o r a n d B . H u t c h i n g s . T h e F l e x i b i l i t y o f C o n g u r a b l e C o m p u t i n g . I E E E

S i g n a l P r o c e s s i n g M a g a z i n e , 1 5 5 : 6 7 8 4 , S e p t e m b e r 1 9 9 8 .

2 1 8 J . V i l l a s e n o r a n d W . H . M a n g i o n e - S m i t h . C o n g u r a b l e C o m p u t i n g . S c i e n t i c

A m e r i c a n , 2 7 6 6 : 5 4 5 9 , J u n e 1 9 9 7 .

2 1 9 E . V i t t o z . A n a l o g V L S I S i g n a l P r o c e s s i n g : W h y , W h e r e a n d H o w ? J o u r n a l o f

V L S I S i g n a l P r o c e s s i n g , 8 : 2 7 4 4 , J u l y 1 9 9 4 .

2 2 0 C . v o n d e r M a l s b u r g . S e l f - o r g a n i z a t i o n o f o r i e n t a t i o n s e n s i t i v e c e l l s i n t h e s t r i a t e

c o r t e x . K y b e r n e t i k , 1 4 : 8 5 1 0 0 , 1 9 7 3 .

2 2 1 J . v o n N e u m a n n . T h e C o m p u t e r a n d t h e B r a i n . Y a l e U n i v e r s i t y P r e s s , 1 9 5 8 .

2 2 2 C . J . C . H . W a t k i n s a n d P . D a y a n . Q - L e a r n i n g . M a c h i n e L e a r n i n g , 8 : 2 7 9 2 9 2 , 1 9 9 2 .

2 2 3 A . W a t s o n . W h y C a n ' t a C o m p u t e r B e M o r e L i k e a B r a i n ? S c i e n c e ,

2 7 7 5 3 3 4 : 1 9 3 4 1 9 3 6 , S e p t e m b e r 1 9 9 7 .

2 2 4 P . J . W e r b o s . T h e R o o t s o f B a c k p r o p a g a t i o n : F r o m o r d e r e d d e r i v a t i v e s t o N e u r a l

N e w o r k s a n d P o l i t i c a l F o r e c a s t i n g . J o h n W i l e y a n d S o n s , N e w Y o r k , 1 9 9 4 .

2 2 5 P . J . W e r b o s . B c k p r o p a g a t i o n : B a s i c s a n d n e w d e v e l o p m e n t s . I n M . A . A r b i b ,

e d i t o r , H a n d b o o k o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 1 3 4 1 3 9 . M I T P r e s s ,

1 9 9 5 .

2 2 6 D . A . W h i t e a n d D . A . S o f g e , e d i t o r s . H a n d b o o k o f I n t e l l i g e n t C o n t r o l . V a n N o s t r a n d

R e i n h o l d , N e w Y o r k , 1 9 9 2 .

2 2 7 S . D . W h i t e h e a d a n d D . H . B a l l a r d . L e a r n i n g t o P e r c e i v e a n d A c t b y T r i a l . M a c h i n e

L e a r n i n g , 7 1 : 4 5 8 3 , 1 9 9 1 .

2 2 8 B . W i d r o w , N . G u p t a , a n d S . M a i t r a . P u n i s h R e w a r d : L e a r n i n g w i t h a C r i t i c i n

A d a p t i v e T h r e s h o l d S y s t e m s . I E E E T r a n s a c t i o n s o n S y s t e m s , M a n a n d C y b e r n e t -

i c s , 3 5 : 4 5 5 4 6 5 , S e p t e m b e r 1 9 7 3 .

2 2 9 B . W i d r o w a n d M . L e h r . P e r c e p t r o n s , A d a l i n e s , a n d B a c k p r o p a g a t i o n . I n M . A .

A r b i b , e d i t o r , H a n d b o o k o f B r a i n T h e o r y a n d N e u r a l N e t w o r k s , p a g e s 7 1 9 7 2 4 .

M I T P r e s s , 1 9 9 5 .




2 3 0 B . W i d r o w a n d F . S m i t h . P a t t e r n - r e c o g n i z i n g C o n t r o l S y s t e m s . I n P r o c e e d i n g s

o f t h e 1 9 6 3 C o m p u t e r a n d I n f o r m a t i o n S c i e n c e s C O I N S S y m p o s i u m , p a g e s 2 8 8

3 1 7 , W a s h i n g t o n D . C , 1 9 6 4 .

2 3 1 N . W i e n e r . G o d & G o l e m , I n c . A c o m m e n t o n C e r t a i n P o i n t s w h e r e C y b e r n e t i c

I m p i n g e s o n R e l i g i o n , p a g e 1 4 . T h e M I T P r e s s , 1 9 6 4 .

2 3 2 R . J . W i l l i a m s . S i m p l e s t a t i s t i c a l g r a d i e n t - f o l l o w i n g a l g o r i t h m s f o r c o n n e c t i o n i s t

r e i n f o r c e m e n t l e a r n i n g . M a c h i n e L e a r n i n g , 8 : 2 2 9 2 5 6 , 1 9 9 2 .

2 3 3 S . W . W i l s o n . Z C S : a z e r o t h l e v e l c l a s s i e r s y s t e m . E v o l u t i o n a r y C o m p u t a t i o n ,

2 1 : 1 1 8 , 1 9 9 4 .

2 3 4 S . W . W i l s o n . C l a s s i e r t n e s s b a s e d o n a c c u r a c y . E v o l u t i o n a r y C o m p u t a t i o n ,

3 2 : 1 4 9 1 7 5 , 1 9 9 5 .

2 3 5 S . W . W i l s o n . E x p l o r e E x p l o i t S t r a t e g i e s i n A u t o n o m y . I n F r o m A n i m a l s t o A n i -

m a t s 4 : P r o c e e d i n g s o f t h e F o u r t h I n t e r n a t i o n a l C o n f e r e n c e o n S i m u l a t i o n o f A d a p -

t i v e B e h a v i o r , p a g e s 3 2 5 3 3 2 , C a m b r i d g e , M A , 1 9 9 6 . T h e M I T P r e s s .

2 3 6 S . W o l f r a m . S t a t i s t i c a l m e c h a n i c s o f c e l l u l a r a u t o m a t a . R e v i e w o f M o d e r n P h y s i c s ,

5 5 : 6 0 1 6 4 4 , 1 9 8 3 .

2 3 7 X i l i n x . T h e X C 4 0 0 0 D a t a B o o k . X i l i n x , I n c , S a n J o s e , 1 9 9 1 .

2 3 8 X i l i n x , I n c . X C 6 2 0 0 F i e l d P r o g r a m m a b l e G a t e A r r a y s , A p r i l 1 9 9 7 .

2 3 9 X i l i n x , I n c . X C 4 0 0 0 X V F a m i l y F i e l d P r o g r a m m a b l e G a t e A r r a y s , M a y 1 9 9 8 .

2 4 0 X . Y a o . E v o l u t i o n a r y a r t i c i a l n e u r a l n e t w o r k s . I n t e r n a t i o n a l J o u r n a l o f N e u r a l

S y s t e m s , 4 3 : 2 0 3 2 2 2 , 1 9 9 3 .

2 4 1 M . Z e i d e n b e r g . N e u r a l N e t w o r k s i n A r t i c i a l I n t e l l i g e n c e , c h a p t e r I s s u e s i n N e u r a l

N e t w o r k M o d e l i n g . E l l i s H o r w o o d , 1 9 9 0 .

2 4 2 J . Z h a o , J . S h a w e T a y l o r , a n d M v a n D a a l e n . L e a r n i n g i n s t o c h a s t i c b i t s t r e a m

n e u r a l n e t w o r k s . N e u r a l N e t w o r k s , 9 6 : 9 9 1 9 9 8 , 1 9 9 6 .

2 4 3 S . Z r e h e n . E l e m e n t s o f B r a i n D e s i g n f o r A u t o n o m o u s A g e n t s . P h D t h e s i s , S w i s s

F e d e r a l I n s t i t u t e o f T e c h n o l o g y - L a u s a n n e , L a u s a n n e , E P F L , 1 9 9 5 . T h e s i s 1 3 7 3 .



C u r r i c u l u m V i t

M a b i b l i o t h q u e , c ' e s t m o i .

- J . H o l l a n d

A

n d r s P r e z - U r i b e r e c e i v e d a d i p l o m a f r o m t h e U n i v e r s i d a d d e l V a l l e , C a l i ,

C o l o m b i a , i n 1 9 9 3 . F r o m 1 9 9 4 t o 1 9 9 6 , h e h e l d a S w i s s g o v e r n m e n t f e l l o w s h i p

a n d i s c u r r e n t l y a P h D c a n d i d a t e i n t h e D e p a r t m e n t o f C o m p u t e r S c i e n c e , S w i s s

F e d e r a l I n s t i t u t e o f T e c h n o l o g y , L a u s a n n e . S i n c e 1 9 9 4 , h e h a s b e e n w i t h t h e L o g i c

S y s t e m s L a b o r a t o r y a t t h e S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y , w o r k i n g o n t h e d i g i t a l

i m p l e m e n t a t i o n o f n e u r a l n e t w o r k s w i t h a d a p t a b l e t o p o l o g i e s , i n c o l l a b o r a t i o n w i t h t h e

C e n t r e S u i s s e d ' E l e c t r o n i q u e e t d e M i c r o t e c h n i q u e S A C S E M . H i s r e s e a r c h i n t e r e s t s

i n c l u d e a r t i c i a l n e u r a l n e t w o r k s , e l d - p r o g r a m m a b l e d e v i c e s , e v o l u t i o n a r y t e c h n i q u e s ,

a n d c o m p l e x a n d b i o - i n s p i r e d s y s t e m s . H e w a s a m e m b e r o f t h e s t e e r i n g c o m m i t t e e a n d

s e c r e t a r y o f t h e S e c o n d I n t e r n a t i o n a l C o n f e r e n c e o n E v o l v a b l e S y s t e m s : F r o m B i o l o g y

perezu thesis

Documents