behavior coordination mechanisms

8/6/2019 Behavior coordination mechanisms

1/49

B e h a v i o r C o o r d i n a t i o n M e c h a n i s m s

{ S t a t e - o f - t h e - a r t

B y

P a o l o P i r j a n i a n

U S C R o b o t i c s R e s e a r c h L a b o r a t o r y

U n i v e r s i t y o f S o u t h e r n C a l i f o r n i a

L o s A n g e l s , C A 9 0 0 8 9 - 0 7 8 1

p h o n e : + 1 ( 2 1 3 ) 7 4 0 - 4 5 2 3 , f a x : + 1 ( 2 1 3 ) 7 4 0 - 7 5 1 2

E - m a i l : p a o l o @ r o b o t i c s . u s c . e d u

U R L : h t t p : / / w w w - r o b o t i c s . u s c . e d u / ~ p a o l o

O c t o b e r 7 , 1 9 9 9


2/49

A b s t r a c t

I n b e h a v i o r - b a s e d r o b o t i c s t h e c o n t r o l o f a r o b o t i s s h a r e d b e t w e e n a s e t o f p u r p o s i v e

p e r c e p t i o n - a c t i o n u n i t s , c a l l e d b e h a v i o r s . B a s e d o n s e l e c t i v e s e n s o r y i n f o r m a t i o n , e a c h b e h a v -

i o r p r o d u c e s i m m e d i a t e r e a c t i o n s t o c o n t r o l t h e r o b o t w i t h r e s p e c t t o a p a r t i c u l a r o b j e c t i v e

i . e . , a n a r r o w a s p e c t o f t h e r o b o t ' s o v e r a l l t a s k s u c h a s o b s t a c l e a v o i d a n c e o r w a l l f o l l o w i n g .

B e h a v i o r s w i t h d i e r e n t a n d p o s s i b l y i n c o m m e n s u r a b l e o b j e c t i v e s m a y p r o d u c e c o n i c t i n g

a c t i o n s t h a t a r e s e e m i n g l y i r r e c o n c i l a b l e . T h u s a m a j o r i s s u e i n t h e d e s i g n o f b e h a v i o r - b a s e d

c o n t r o l s y s t e m s i s t h e f o r m u l a t i o n o f e e c t i v e m e c h a n i s m s f o r c o o r d i n a t i o n o f t h e b e h a v i o r s '

a c t i v i t i e s i n t o s t r a t e g i e s f o r r a t i o n a l a n d c o h e r e n t b e h a v i o r . T h i s i s k n o w n a s t h e a c t i o n

s e l e c t i o n p r o b l e m ( a l s o r e f e r e e d t o a s t h e b e h a v i o r c o o r d i n a t i o n p r o b l e m ) a n d i s t h e p r i m a r y

f o c u s o f t h i s o v e r v i e w p a p e r . N u m e r o u s a c t i o n s e l e c t i o n m e c h a n i s m s h a v e b e e n p r o p o s e d o v e r

t h e l a s t d e c a d e a n d t h e m a i n o b j e c t i v e o f t h i s d o c u m e n t i s t o g i v e a q u a l i t a t i v e o v e r v i e w o f

t h e s e a p p r o a c h e s .

2


3/49


4/49

p r o b l e m o f a c t i o n s e l e c t i o n i s t r i v i a l a n d t h e r e f o r e t h i s d i s c i p l i n e i s n o t i n c l u d e d i n t h e l i s t .

O t h e r e l d s o f s c i e n c e t h a t ( c a n ) c o n t r i b u t e t o s o l v i n g t h e a c t i o n s e l e c t i o n p r o b l e m i n c l u d e

d e c i s i o n m a k i n g a n d o p e r a t i o n s r e s e a r c h . E . g . , o p e r a t i o n s r e s e a r c h i s c o n c e r n e d w i t h h e l p i n g

m a n a g e m e n t w i t h d e t e r m i n i n g a p p r o p r i a t e p o l i c i e s a n d a c t i o n s i n e c o n o m i c , e n v i r o n m e n t a l

o r o t h e r c o m p l e x s y s t e m s w h e r e t r a d e o s b e t w e e n m u l t i p l e o b j e c t i v e s a r e n e c e s s a r y . T h e s e

e l d s d o n o t d i r e c t l y a d d r e s s t h e a c t i o n s e l e c t i o n p r o b l e m , r a t h e r t h e y a d d r e s s p r o b l e m s t h a t

a r e f u n d a m e n t a l l y v e r y s i m i l a r a n d c a n t h u s i n s p i r e n e w a p p r o a c h e s t o t h e p r o b l e m o f a c t i o n

s e l e c t i o n . L a t e r i n t h i s p a p e r , w e s e e e x a m p l e s o f a c t i o n s e l e c t i o n m e c h a n i s m s t h a t a r e b a s e d

o n c e r t a i n d e c i s i o n m a k i n g m e t h o d s , e . g . , B a y e s i a n d e c i s i o n m a k i n g .

C o m i n g b a c k t o t h e a b o v e m e n t i o n e d l i s t , m a n y o f t h e l i s t e d e l d s a r e i n t e r r e l a t e d a n d

c o n s t i t u t e a s o u r c e o f i n s p i r a t i o n f o r o n e a n o t h e r . F o r e x a m p l e , c o m p u t a t i o n a l a c t i o n s e -

l e c t i o n m e c h a n i s m s i n r o b o t i c s a r e o f t e n i n s p i r e d b y b i o l o g i c a l a n d e t h o l o g i c a l m o d e l s o f

a c t i o n s e l e c t i o n 1 0 , 3 3 ] . C o n v e r s e l y , e t h o l o g i c a l m o d e l s o f a c t i o n s e l e c t i o n a r e b y s o m e r e -

s e a r c h e r s t e s t e d a n d v a l i d a t e d b y u s e o f r o b o t s t h a t s i m u l a t e c r e a t u r e s 8 ] . H o w e v e r , t h e

a i m i n r o b o t i c s i s d i e r e n t f r o m t h a t o f , e . g . , e t h o l o g y . F o r i n s t a n c e e m e r g e n t b e h a v i o r s

a r e i n t e r e s t i n g t o s t u d y f r o m a n e t h o l o g i c a l p o i n t o f v i e w , w h i c h m i g h t n o t b e t h e c a s e f o r

r o b o t i c s f r o m a n e n g i n e e r i n g p o i n t o f v i e w . F r o m a n e n g i n e e r i n g p o i n t o f v i e w , e m e r g e n t

b e h a v i o r s m a y n o t b e d e s i r e d b e c a u s e t h e a i m i s t o c o n s t r u c t r o b o t s t h a t o p e r a t e a c c o r d i n g

t o s o m e g i v e n s p e c i c a t i o n s a n d t h u s u n p r e d i c t a b l e e m e r g e n t b e h a v i o r s a r e u n w a n t e d . T h u s

e m e r g e n t b e h a v i o r s a r e i n t e r e s t i n g , f r o m a n e n g i n e e r i n g p o i n t o f v i e w , a s l o n g a s t h e y c a n

b e p r e d i c t e d .

A n o t h e r m a j o r d i s t i n c t i o n b e t w e e n t h e s e d i e r e n t a p p r o a c h e s t o t h e a c t i o n s e l e c t i o n

p r o b l e m i s c o n c e r n e d w i t h u n c e r t a i n t y . I n t h e p h y s i c a l l y e m b e d d e d s y s t e m s , t h e p r o b l e m o f

u n c e r t a i n t y i s m u c h m o r e p r o b l e m a t i c t h a n i t i s f o r s y s t e m s t h a t a r e n o t e m b e d d e d i n t h e r e a l

w o r l d . E . g . , v i r t u a l a g e n t s i n v i r t u a l e n v i r o n m e n t s c a n u s u a l l y a s s u m e p e r f e c t s e n s i n g a n d

a c t u a t i o n w h i c h i s n o t t r u e f o r r o b o t s ( p h y s i c a l a g e n t s ) . T h u s a c t i o n s e l e c t i o n m e c h a n i s m s

t h a t w o r k i n v i r t u a l e n v i r o n m e n t s m i g h t n o t w o r k s a t i s f a c t o r i l y f o r a g e n t s i n t e r a c t i n g w i t h

t h e r e a l p h y s i c a l w o r l d .

2 O u t l i n e o f p a p e r

I n t h i s p a p e r w e r e v i e w s o m e o f t h e w o r k d o n e i n a d d r e s s i n g i s s u e s r e l a t e d t o t h e a c t i o n

s e l e c t i o n p r o b l e m ( A S P ) . B u t w h a t i s t h e a c t i o n s e l e c t i o n p r o b l e m a n d w h y i s i t a h a r d

p r o b l e m ? I n s e c t i o n 3 t h e p r o b l e m o f a c t i o n s e l e c t i o n i s d e s c r i b e d a n d t h r o u g h t h i s d e s c r i p -

t i o n t h e m a j o r c h a l l e n g e s o f t h e A S P a r e p o i n t e d o u t . A c t i o n s a r e e n t i t i e s t h a t a r e i n f o c u s

w h e n d e a l i n g w i t h t h e A S P a n d t h u s i n s e c t i o n 4 w e a t t e m p t t o d e s c r i b e w h a t a c t i o n s a r e .

T h i s a l l o w s u s t o c l a s s i f y a c t i o n s e l e c t i o n m e c h a n i s m s w i t h r e s p e c t t o t h e t y p e o f a c t i o n s

t h e y c o n s i d e r . U s i n g t h e s e n d i n g s w e p r o p o s e a t a x o n o m y f o r a c t i o n s e l e c t i o n m e c h a n i s m s

i n s e c t i o n 5 . I n t h e r e m a i n d e r o f t h e p a p e r w e d e s c r i b e a r e p r e s e n t a t i v e s e t o f e x i s t i n g a c t i o n

s e l e c t i o n m e c h a n i s m s a n d w e c o n c l u d e w i t h a d i s c u s s i o n .

I n o r d e r t o s i m p l i f y t h e a n a l y s i s o f t h e s y s t e m s a n d a p p r o a c h e s p r e s e n t e d l a t e r i n t h i s

s e c t i o n w e w i l l e m p h a s i z e t h e i r a p p l i c a t i o n t o b e h a v i o r - b a s e d m o b i l e r o b o t c o n t r o l . H o w e v e r ,

m a n y o f t h e p r e s e n t e d a p p r o a c h e s m a y h a v e m o r e g e n e r a l a p p l i c a t i o n t h a n m o b i l e r o b o t i c s

a l o n e . F u r t h e r , i t i s n o t i n t e n d e d t o e m p h a s i z e o n a n y p a r t i c u l a r a p p r o a c h i n i t s e l f , w h a t

i s i m p o r t a n t i s t o h i g h l i g h t p r i n c i p l e s , i d e a s a n d t e c h n i q u e s . I n a d d i t i o n , f o r e a c h a p p r o a c h

a d i s c u s s i o n o f i t s m a i n c o n t r i b u t i o n t o t h e a c t i o n s e l e c t i o n p r o b l e m a n d a n a n a l y s i s o f i t s

4


5/49

m a i n a d v a n t a g e s a n d d i s a d v a n t a g e s i s g i v e n . I n s e c t i o n 1 3 t h e a n a l y s i s o f t h e a p p r o a c h e s a r e

u s e d f o r a d i s c u s s i o n o f i s s u e s r e l e v a n t t o a c t i o n s e l e c t i o n .

3 T h e a c t i o n s e l e c t i o n p r o b l e m

M a e s g i v e s t h e f o l l o w i n g d e n i t i o n o f t h e A c t i o n S e l e c t i o n P r o b l e m ( A S P ) 3 3 ] :

\ H o w c a n a n a g e n t s e l e c t ` t h e m o s t a p p r o p r i a t e ' o r ` t h e m o s t r e l e v a n t ' n e x t a c t i o n

t o t a k e a t a p a r t i c u l a r m o m e n t , w h e n f a c i n g a p a r t i c u l a r s i t u a t i o n ? "

H o w e v e r , d u e t o c o n s t r a i n t s s u c h a s e n v i r o n m e n t a l c o m p l e x i t y a n d u n p r e d i c t a b i l i t y a n d

d u e t o t h e a g e n t ' s l i m i t e d r e s o u r c e s ( c o m p u t a t i o n a l e t c . ) a c t i o n s e l e c t i o n c a n n o t b e c o m -

p l e t e l y ` r a t i o n a l ' o r o p t i m a l . N o n e t h e l e s s , d e s p i t e o f s p a r s e r e s o u r c e s a n d u n p r e d i c t a b i l i t i e s

i n i t s e n v i r o n m e n t , w e w a n t t h e a g e n t t o o p e r a t e ` a p p r o p r i a t e l y ' o r s e l e c t ` g o o d e n o u g h ' a c -

t i o n s . T h u s a n i m m e d i a t e q u e s t i o n t h a t p o p s t o o u r m i n d s i s w h a t i s a ` g o o d e n o u g h ' a c t i o n ?

S i m o n ' s c o n c e p t o f s a t i s c i n g e n d o w s t h e b e h a v i o r o f p r o d u c i n g ` g o o d e n o u g h ' r a t h e r t h a n

o p t i m a l a c t i o n f o r a n a g e n t w i t h c o g n i t i v e l i m i t a t i o n s . T h e t e r m b o u n d e d r a t i o n a l i t y h a s

b e e n u s e d t o c h a r a c t e r i z e a s a t i s c i n g b e h a v i o r b y , e . g . , 5 5 ] . ( s e e a l s o 6 2 , 2 0 ] ) .

3 3 ] l i s t s t h e f o l l o w i n g r e q u i r e m e n t s f o r a n A S M t h a t p r o d u c e s ` g o o d e n o u g h ' b e h a v i o r :

G o a l - o r i e n t e d n e s s : i t f a v o r s a c t i o n s t h a t c o n t r i b u t e t o o n e o r s e v e r a l g o a l s

S i t u a t e d n e s s : i t f a v o r s a c t i o n s t h a t a r e r e l e v a n t t o t h e c u r r e n t s i t u a t i o n

P e r s i s t e n c e : i t f a v o r s a c t i o n s t h a t c o n t r i b u t e t o t h e o n g o i n g g o a l

P l a n n i n g : i t l o o k s a h e a d t o a v o i d h a z a r d o u s s i t u a t i o n s

R o b u s t n e s s : t h e s y s t e m s h o u l d d e g r a d e g r a c e f u l l y , i . e . , t h e m a l f u n c t i o n o f o n e p a r t

s h o u l d n o t c a u s e t h e f a i l u r e o f t h e e n t i r e s y s t e m .

R e a c t i v i t y : i t p r o v i d e s f a s t / t i m e l y r e s p o n s e s

T h e s e r e q u i r e m e n t s d e n e c h a r a c t e r i s t i c s o f ` g o o d e n o u g h ' b e h a v i o r , h o w e v e r , t h e y d o

n o t g i v e a n e x p l i c i t a n s w e r t o t h e q u e s t i o n w e p o s e . A n e x p l i c i t a n s w e r c a n e n a b l e u s t o

d e n e a q u a l i t a t i v e m e a s u r e o f ` g o o d n e s s ' w h i c h i s n e c e s s a r y t o i d e n t i f y w h e t h e r a n a c t i o n

i s g o o d e n o u g h o r n o t . A n i n t e r e s t i n g e t h o l o g i c a l v i e w o f t h e a c t i o n s e l e c t i o n p r o b l e m g i v e n

i n 6 9 ] p r o v i d e s a n e x p l i c i t q u a l i t a t i v e a n s w e r t o t h i s q u e s t i o n :

\ T h i s A S P ] i s t h e o v e r a l l p r o b l e m f o r a n a n i m a l o f h o w t o s e l e c t i t s a c t i o n s s o a s

t o m a x i m i z e i t s f u t u r e e x p e c t e d g e n e t i c t n e s s b y s u r v i v i n g a n d r e p r o d u c i n g , a n d

b y h e l p i n g c l o s e g e n e t i c r e l a t i v e s t o d o l i k e w i s e . "

W h i l e t h i s e t h o l o g i c a l v i e w o f t h e a c t i o n s e l e c t i o n p r o b l e m m i g h t b e a p p r o p r i a t e f o r

s o m e c r e a t u r e s , y e t f o r o t h e r s o n e m i g h t n e e d t o s l i g h t l y r e f o r m u l a t e t h e d e n i t i o n i n o r d e r

t o g e n e r a l i z e i t t o a p p l y t o m o r e c a s e s . I n s t e a d o f h a v i n g t h e o b j e c t i v e t o m a x i m i z e t h e

e x p e c t e d g e n e t i c t n e s s w e c a n s a y t h a t t h e a g e n t s h o u l d m a x i m i z e s i t s e x p e c t e d u t i l i t y . T h e

t e r m u t i l i t y c a n t h e n b e d e n e d t o a n y f u n c t i o n r e e c t i n g t h e d e s i r e s a n d p r i o r i t i e s o f t h e

a g e n t . A s y o u m i g h t n o t i c e t h i s f o r m u l a t i o n c o r r e s p o n d s t o B a y e s i a n D e c i s i o n T h e o r y 4 5 ] ,

a d v o c a t o r s o f w h i c h b e l i e v e t h a t a g e n t s a c t i n g a c c o r d i n g t o t h i s t h e o r y d i s p l a y r a t i o n a l

b e h a v i o r . I n t h e r e v i e w o f A S M s i t i s s e e n t h a t o n l y a f e w o f t h e a p p r o a c h e s d e n e a

q u a l i t a t i v e m e a s u r e f o r e v a l u a t i n g s e l e c t e d a c t i o n s .

5


6/49

I n 6 9 ] a s e t o f A S M s a r e i m p l e m e n t e d o n a s i m u l a t o r a n d t h e i r p e r f o r m a n c e s a r e c o m -

p a r e d . B a s e d o n t h i s s t u d y T y r r e l l a d d s a n u m b e r o f r e q u i r e m e n t s t o t h e o n e s l i s t e d b y

M a e s .

D e a l i n g w i t h a l l t y p e s o f s u b - p r o b l e m : i n T y r r e l l ' s t e r m i n o l o g y s u b - p r o b l e m c o r -

r e s p o n d s t o a b s t r a c t i o n l e v e l o f t h e a g e n t h i e r a r c h y d e s c r i b e d b y M i n s k y ( s e e s e c t i o n

4 ) . T h i s r e q u i r e m e n t s t a t e s t h a t i t i s n e c e s s a r y t o h a v e a c t i o n s e l e c t i o n a t a l l l e v e l s o f

t h e h i e r a r c h y . T y r r e l l t h i n k s t h a t t h e s a m e A S M s h o u l d h a n d l e a l l s u b - p r o b l e m s .

C o m p r o m i s e a c t i o n s : t h e n e e d t o c h o o s e a c t i o n s t h a t a r e b e s t f o r t h e c o l l e c t i o n o f

b e h a v i o r s ( o r s y s t e m o b j e c t i v e s ) r a t h e r t h a n f o r i n d i v i d u a l b e h a v i o r s .

O p p o r t u n i s m : t h i s i n c o n t r a s t t o p e r s i s t e n c e s h o u l d a l l o w t h e r o b o t t o i n t e r r u p t t h e

o n g o i n g g o a l a n d p u r s u e a n e w o n e .

S o m e o f t h e s e r e q u i r e m e n t s a r e i n c o n i c t . F o r e x a m p l e , t h e r e q u i r e m e n t o f p e r s i s t e n c e i s

i n c o n i c t w i t h o p p o r t u n i s m a n d p l a n n i n g i s i n c o n i c t w i t h r e a c t i v i t y . T h e r e f o r e , a n a c t i o n

s e l e c t i o n m e c h a n i s m s h o u l d t r a d e - o b e t w e e n t h e s e r e q u i r e m e n t s .

4 D e n i t i o n o f a c t i o n

T h e a c t i o n s e l e c t i o n p r o b l e m i s c o n c e r n e d w i t h s e l e c t i n g a n a p p r o p r i a t e a c t i o n a m o n g a s e t

o f p o s s i b l e o n e s . I t i s i m p o r t a n t t o k n o w w h a t ` a c t i o n s ' a r e i f a m e c h a n i s m i s t o s e l e c t a m o n g

t h e m . W h a t i s a n a c t i o n ? O r m o r e s p e c i c a l l y , w h a t t y p e s o f a c t i o n s a r e i n t e r e s t i n g i n t h e

c o n t e x t o f r o b o t c o n t r o l ?

F r o m W e b s t e r ' s R e v i s e d U n a b r i d g e d D i c t i o n a r y ( 1 9 1 3 )

A c t i o n , n . O F . a c t i o n , L . a c t i o , f r . a g e r e t o d o . S e e A c t . ]

1 . A p r o c e s s o r c o n d i t i o n o f a c t i n g o r m o v i n g , a s o p p o s e d t o r e s t t h e d o i n g o f s o m e t h i n g

e x e r t i o n o f p o w e r o r f o r c e , a s w h e n o n e b o d y a c t s o n a n o t h e r t h e e e c t o f p o w e r e x e r t e d

o n o n e b o d y b y a n o t h e r a g e n c y a c t i v i t y o p e r a t i o n a s , t h e a c t i o n o f h e a t a m a n o f

a c t i o n . . . .

2 . A n a c t a t h i n g d o n e a d e e d a n e n t e r p r i s e . ( p l . ) : H a b i t u a l d e e d s h e n c e , c o n d u c t

b e h a v i o r d e m e a n o r .

T h e L o r d i s a G o o d o f k n o w l e d g e , a n d b y h i m a c t i o n s a r e w e i g h e d . { 1 S a m . i i . 3 .

3 . T h e e v e n t o r c o n n e c t e d s e r i e s o f e v e n t s , e i t h e r r e a l o r i m a g i n a r y , f o r m i n g t h e s u b j e c t

o f a p l a y , p o e m , o r o t h e r c o m p o s i t i o n t h e u n f o l d i n g o f t h e d r a m a o f e v e n t s .

4 . M o v e m e n t a s , t h e h o r s e h a s a s p i r i t e d a c t i o n .

A c c o r d i n g t o t h i s d e n i t i o n a n a c t i o n c o n s t i t u t e s p h y s i c a l m o v e m e n t s : \ t h e c o n d i t i o n o f

a c t i n g o r m o v i n g , a s o p p o s e d t o r e s t " . T h i s k i n d o f a n a c t i o n w i l l f o r a r o b o t c o r r e s p o n d

t o m o t o r m o v e m e n t s s u c h a s s t e e r i n g a m o b i l e r o b o t i n s o m e h e a d i n g d i r e c t i o n . T h e a b o v e

d e n i t i o n f u r t h e r i n c l u d e h a b i t u a l d e e d s \ h e n c e , c o n d u c t b e h a v i o r d e m e a n o r " w h i c h i n

b e h a v i o r - b a s e d c o n t r o l w o u l d c o r r e s p o n d t o a c t i v a t i o n o f a b e h a v i o r b e s t s u i t e d t o t h e d e s i r e s

o f t h e r o b o t . W h e n w e s p e a k o f a n a c t i o n w e a l s o s p e a k o f a n a g e n t t h a t p e r f o r m s t h e

a c t i o n . T h e d e s i r e s o f t h e r o b o t ( o r a n a g e n t i n g e n e r a l ) a r e m a n i f e s t e d t h r o u g h a c t i o n .

S c h o p e n h a u e r 6 0 ] a c c o u n t s f o r t h e r e l a t i o n s h i p b e t w e e n a n a g e n t ' s w i l l , t h e e x t e r n a l w o r l d

a n d i t s a c t i o n s . A c c o r d i n g t o S c h o p e n h a u e r ' s p h i l o s o p h y , t h e e x i s t i n g w o r l d c o n s i s t s o f w i l l

a n d r e p r e s e n t a t i o n . W i l l a n d r e p r e s e n t a t i o n a r e t h e m o s t e l e m e n t a r y a s p e c t s o f t h e w o r l d a n d

6


7/49

a r e l i n k e d t h r o u g h a c t i o n . A n a g e n t ' s s e n s a t i o n s a r e b y i t s b r a i n o r g a n i z e d i n t o p e r c e p t s a n d

t h u s a r e p r e s e n t a t i o n o f t h e w o r l d . A c t i o n i s a ( p e r c e i v a b l e ) m a n i f e s t a t i o n o f t h e w i l l u n d e r

g i v e n c i r c u m s t a n c e s . A n d t h e b o d y i s t h e i n s t r u m e n t t o f u r n i s h t h e w i l l t h r o u g h a c t i o n s i n

t h e p e r c e i v a b l e w o r l d . T h u s , w i l l i s u n d e r s t o o d a s t h e q u a l i t y t h a t a l l o w s t o c h o o s e b e t w e e n

t h e p o s s i b l e a c t i o n s .

Agent Agent

sub-system

system

Agent

Agent Agent

AgentAgent

motor action

F i g u r e 1 : E x t e r n a l v i e w o f a g e n c i e s . T h e h i e r a r c h y o f a g e n t s a c c o r d i n g t o T h e S o c i e t y o f M i n d .

F r o m a n e x t e r n a l v i e w a n a g e n c y c a n b e d i v i d e d i n t o s y s t e m , s u b - s y s t e m a n d m o t o r a c t i o n s .

B u t w h a t i s t h e r e l a t i o n s h i p b e t w e e n a c t i o n s c a u s i n g m o v e m e n t a n d a c t i o n s t h a t c o r -

r e s p o n d t o t h e s e l e c t i o n o f b e h a v i o r a l p r o c e s s e s ( o r s i m p l y b e h a v i o r s ) ? I n t h e S o c i e t y o f

M i n d , M i n s k y 3 7 ] d r a w s t h e r e l a t i o n b e t w e e n a c t i o n s a n d a g e n t s i n a h i e r a r c h y ( s e e g u r e

1 ) . A c c o r d i n g t o M i n s k y , a n i n t e l l i g e n t b e i n g c o n s i s t s o f a g e n t s a n d a g e n c i e s . A g e n t s a r e

o r g a n i z e d i n a h i e r a r c h y w h e r e a b s t r a c t a g e n t s a r e b u i l d u p o n l e s s a b s t r a c t a g e n t s a n d s o

o n . E a c h a g e n t h a s a m o t i v e ( o r a t a s k ) w h i c h i t p u r s u e s b y a c t i v a t i n g a n d d e a c t i v a t i n g i t s

s u b o r d i n a t e a g e n t s . L o o k i n g a t t h i s h i e r a r c h y f r o m o u t s i d e i t c a n b e d i v i d e d i n t o a g e n c i e s

a n d s u b - a g e n c i e s . I n 6 9 ] a s y s t e m s u b - s y s t e m t e r m i n o l o g y i s u s e d .

W i t h i n t h e a g e n t , f r o m o n e a g e n t ' s p o i n t o f v i e w i t s s u b o r d i n a t e a g e n t s c o r r e s p o n d t o

t h e p o s s i b l e s e t o f a c t i o n s i t h a s t o s e l e c t f r o m . A t t h e l o w e s t l e v e l i n t h e h i e r a r c h y t h e r e a r e

m o t o r a c t i o n s w h i c h d i r e c t l y c a u s e m o v e m e n t a n d i n t e r a c t i o n w i t h t h e w o r l d .

T h u s a g e n t s c a n h a v e t w o r o l e s i n a n a g e n c y : a c t i o n s a n d a c t i o n s e l e c t i o n m e c h a n i s m s

W i t h r e s p e c t t o i t s s u b o r d i n a t e s a n a g e n t i s a n a c t i o n s e l e c t i o n m e c h a n i s m a n d w i t h r e s p e c t

t o i t s s u p e r i o r a n a g e n t i s v i e w e d a s a n a c t i o n . T h i s i s i l l u s t r a t e d i n g u r e 2 .

5 A t a x o n o m y f o r a c t i o n s e l e c t i o n m e c h a n i s m s

C l a s s i c a t i o n o f e x i s t i n g a c t i o n s e l e c t i o n m e c h a n i s m s ( A S M s ) i n t o a n u m b e r o f l o g i c a l g r o u p s

c a n b e u s e f u l . I n t h e r e v i e w o f t h e l i t e r a t u r e w e n d t w o t a x o n o m i e s ( 3 2 ] a n d 5 6 ] ) t h a t

s u g g e s t s c h e m e s f o r c l a s s i c a t i o n o f A S M s .

7


8/49

AgentAgentAgent Agent

Agent

Agent Agent

agents/actionsRole wrt. subordinate

action selectionmechanism action

Role wrt.superior agent

F i g u r e 2 : I n t e r n a l v i e w o f a g e n c i e s . T h e t w o r o l e s o f a n a g e n t i n t h e a g e n t h i e r a r c h y . F r o m i t s

o w n p o i n t o f v i e w a n a g e n t i s a n a c t i o n s e l e c t i o n m e c h a n i s m w h e r e a s f r o m a s u p e r i o r ' s p o i n t o f

v i e w i t i s a n a c t i o n .

F i g u r e 3 s h o w s a c l a s s i c a t i o n o f c o o r d i n a t i o n m e c h a n i s m s s u g g e s t e d i n 3 2 ] . T h e c l a s s i -

c a t i o n d i v i d e s c o o r d i n a t i o n m e c h a n i s m s i n t o s t a t e - b a s e d a n d c o n t i n u o u s . T h e s e t e r m s a r e ,

h o w e v e r , n o t e x p l a i n e d i n 3 2 ] , t h u s t h e f o l l o w i n g i s o u r u n d e r s t a n d i n g o f t h e t e r m s . I n a

g i v e n s t a t e o n l y a r e l e v a n t s u b s e t o f t h e r o b o t ' s b e h a v i o r r e p e r t o i r e n e e d s t o b e a c t i v a t e d .

S t a t e - b a s e d c o o r d i n a t i o n m e c h a n i s m s s e l e c t a s e t o f b e h a v i o r s t h a t i s a d e q u a t e l y c o m p e t e n t

o f h a n d l i n g t h e s i t u a t i o n c o r r e s p o n d i n g t o t h e g i v e n s t a t e . T h i s f u r t h e r l e a d s t o e c i e n t

u s e o f s p a r s e s y s t e m r e s o u r c e s . T h e a u t h o r s o f 3 2 ] f u r t h e r d i v i d e s t a t e - b a s e d c o o r d i n a t i o n

m e c h a n i s m s i n t o t e m p o r a l s e q u e n c i n g a n d c o m p e t i t i v e .

ContinuousState-Based

Competetive Temporal Sequencing Cooperative

Coordination Classes

F i g u r e 3 : C l a s s e s o f c o o r d i n a t i o n m e c h a n i s m s p r o p o s e d i n 3 2 ] .

I n 5 6 ] t h e A S M s a r e d i v i d e d i n t o a r b i t r a t i o n a n d c o m m a n d f u s i o n c o r r e s p o n d i n g t o

M a c K e n z i e ' s s t a t e - b a s e d a n d c o n t i n u o u s a p p r o a c h e s r e s p e c t i v e l y . I n S a o t t i ' s t e r m i n o l o g y

e a c h o f t h e s e c l a s s e s a r e c o n c e r n e d w i t h t h e p r o b l e m s o f b e h a v i o r c o o r d i n a t i o n a n d c o m m a n d

f u s i o n r e s p e c t i v e l y . B e h a v i o r c o o r d i n a t i o n i s c o n c e r n e d w i t h \ h o w t o d e c i d e w h i c h b e h a v i o r

t o a c t i v a t e a t e a c h m o m e n t " a n d c o m m a n d f u s i o n i s c o n c e r n e d w i t h \ h o w t o c o m b i n e t h e

r e s u l t s f r o m d i e r e n t b e h a v i o r s i n t o o n e c o m m a n d t o b e s e n t t o t h e r o b o t ' s e e c t o r s " 5 6 ] .

N o t e t h a t t h i s w a y o f g r o u p i n g A S M s c o r r e s p o n d s t o t h e r o l e s o f a g e n t s ( a s A S M s o r m o t o r i c

a c t i o n s ) d i s c u s s e d i n t h e p r e v i o u s s e c t i o n .

W i t n e s s e d b y t h e s e c l a s s i c a t i o n s i t i s e v i d e n t t h a t A S M s c a n b e c l a s s i e d a c c o r d i n g t o

a n u m b e r o f r e l e v a n t c h a r a c t e r i s t i c s . H o w e v e r , i t s s e e m s t h a t o n e c h a r a c t e r i s t i c , n a m e l y t h e

8


9/49

A S M ' s a b i l i t y t o h a n d l e m u l t i p l e b e h a v i o r s s i m u l t a n e o u s l y , i s m o s t d i s c r i m i n a t i n g a n d d i v i d e s

A S M s i n t o t w o m a i n g r o u p s : A S M s t h a t c a n h a n d l e o n e b e h a v i o r a t a t i m e a n d A S M s t h a t

c a n h a n d l e m u l t i p l e b e h a v i o r a l c o n s t r a i n t s a t a t i m e . F o l l o w i n g S a o t t i ' s t a x o n o m y , w e c a l l

t h e s e c l a s s e s a r b i t r a t i o n a n d c o m m a n d f u s i o n , r e s p e c t i v e l y . A r b i t r a t i o n A S M s , a l l o w o n e o r

a s e t o f b e h a v i o r s a t a t i m e t o t a k e c o n t r o l f o r a p e r i o d o f t i m e u n t i l a n o t h e r s e t o f b e h a v i o r s

b e h a v i o r i s a c t i v a t e d . C o m m a n d f u s i o n A S M s , a l l o w m u l t i p l e b e h a v i o r s t o c o n t r i b u t e t o t h e

n a l c o n t r o l o f t h e r o b o t ( a g e n t ) . T h e s e A S M s a r e t h u s o f t e n s u i t e d f o r p r o b l e m s w h i c h

a r e m u l t i p l e o b j e c t i v e i n n a t u r e . F o r e x a m p l e , d r i v i n g o n a f r e e w a y a n d k e e p i n g t h e v e h i c l e

i n s i d e t h e l a n e , w h i l e a v o i d i n g c o l l i s i o n s w i t h s u r r o u n d i n g v e h i c l e s i s a m u l t i p l e o b j e c t i v e

p r o b l e m .

V a r i o u s a r b i t r a t i o n a n d c o m m a n d f u s i o n m e c h a n i s m s e x i s t e a c h o r a g r o u p o f w h i c h a r e

i m p l e m e n t e d i n v a r i o u s w a y s b a s e d o n d i e r e n t m e c h a n i s m s . T h u s t o f u r t h e r d i v i d e t h e s e

t w o m a i n c l a s s e s w e c h a r a c t e r i z e t h e m a c c o r d i n g t o t h e m e c h a n i s m s u s e d f o r s e l e c t i n g t h e

a c t i o n . T h i s i s i l l u s t r a t e d i n g u r e 4 .

Fuzzy Multiple objectivePriority-based State-based Winner-take-all

Arbitration

Classes of Behavior Coordination Mechanisms

SuperpositionVoting

Command Fusion

F i g u r e 4 : C l a s s e s o f a c t i o n s e l e c t i o n m e c h a n i s m s .

5 . 1 A r b i t r a t i o n A S M s

A r b i t r a t i o n m e c h a n i s m s s e l e c t o n e b e h a v i o r , f r o m a g r o u p o f c o m p e t i n g o n e s , a n d g i v e i t

u l t i m a t e c o n t r o l o f t h e s y s t e m ( t h e r o b o t ) u n t i l t h e n e x t s e l e c t i o n c y c l e . T h i s a p p r o a c h

i s s u i t a b l e f o r a r b i t r a t i n g b e t w e e n t h e s e t o f a c t i v e b e h a v i o r s i n a c c o r d w i t h t h e s y s t e m ' s

c h a n g i n g o b j e c t i v e s a n d r e q u i r e m e n t s u n d e r v a r y i n g c o n d i t i o n s . I t c a n f o c u s u s e o f s c a r c e

s y s t e m r e s o u r c e s ( s e n s o r y , c o m p u t a t i o n a l e t c . ) o n t a s k s t h a t a r e c o n s i d e r e d t o b e r e l e v a n t .

A r b i t r a t i o n m e c h a n i s m s f o r a c t i o n s e l e c t i o n c a n b e d i v i d e d i n t o : p r i o r i t y b a s e d s t a t e -

b a s e d a n d w i n n e r - t a k e - a l l . T h e s e a r e d i e r e n t t e c h n i q u e s f o r s e l e c t i n g a n a p p r o p r i a t e a c t i o n

a t a n y m o m e n t .

I n p r i o r i t y b a s e d m e c h a n i s m s a n a c t i o n i s s e l e c t e d b y a c e n t r a l m o d u l e b a s e d o n a p r i o r i

a s s i g n e d p r i o r i t i e s . T h u s b e h a v i o r s w i t h h i g h e r p r i o r i t i e s a r e a l l o w e d t o t a k e c o n t r o l o f t h e

r o b o t . S t a t e - b a s e d m e c h a n i s m s s e l e c t a s e t o f b e h a v i o r s t h a t i s a d e q u a t e l y c o m p e t e n t o f h a n -

d l i n g t h e s i t u a t i o n c o r r e s p o n d i n g t o t h e g i v e n s t a t e . F i n a l l y , i n w i n n e r - t a k e - a l l m e c h a n i s m s

a c t i o n s e l e c t i o n r e s u l t s f r o m t h e i n t e r a c t i o n o f a s e t o f d i s t r i b u t e d b e h a v i o r s t h a t c o m p e t e

u n t i l o n e b e h a v i o r w i n s t h e c o m p e t i t i o n a n d t a k e s c o n t r o l o f t h e r o b o t .

5 . 2 C o m m a n d f u s i o n A S M s

C o m m a n d f u s i o n m e c h a n i s m s c o m b i n e r e c o m m e n d a t i o n s f r o m m u l t i p l e b e h a v i o r s t o f o r m a

c o n t r o l a c t i o n t h a t r e p r e s e n t s t h e i r c o n s e n s u s . T h u s , t h i s a p p r o a c h p r o v i d e s f o r a c o o r d i n a -

t i o n s c h e m e t h a t a l l o w s a l l t h e b e h a v i o r s t o s i m u l t a n e o u s l y c o n t r i b u t e t o t h e c o n t r o l o f t h e

s y s t e m i n a c o o p e r a t i v e r a t h e r t h a n a c o m p e t i t i v e m a n n e r .

R o u g h l y s p e a k i n g , c o m m a n d f u s i o n t e c h n i q u e s p r o c e e d i n t h r e e s t e p s :

9


10/49

1 A c t i o n r e c o m m e n d a t i o n s : A m o d u l e i s i m p l e m e n t e d t o g e n e r a t e r e c o m m e n d e d a c -

t i o n s a c c o r d i n g t o s o m e b e h a v i o r a l c r i t e r i a s u c h a s o b s t a c l e a v o i d a n c e .

2 B e h a v i o r a g g r e g a t i o n : T h e a c t i o n s r e c o m m e n d e d b y b e h a v i o r s a r e c o m b i n e d a c -

c o r d i n g t o s o m e r u l e .

3 A c t i o n s e l e c t i o n : A n a p p r o p r i a t e a c t i o n i s s e l e c t e d b a s e d o n t h e c o m b i n e d r e c o m -

m e n d a t i o n s .

C o m m a n d f u s i o n m e c h a n i s m s c a n t h u s d i e r i n t h e w a y t h e y i m p l e m e n t e a c h o f t h e s e

s t e p s . S t e p s 2 a n d 3 a r e o f t e n d e p e n d e n t o n e a c h o t h e r . I n g u r e 4 t h e c o m m a n d f u s i o n

m e c h a n i s m s a r e d i v i d e d a c c o r d i n g t o t h e w a y s t e p s 2 a n d 3 a r e p e r f o r m e d .

V o t i n g t e c h n i q u e s i n t e r p r e t t h e o u t p u t o f e a c h b e h a v i o r a s v o t e s , w h i c h a r e c o m b i n e d b y

t a l l y i n g t h e v o t e s , a n d t h e n s e l e c t i n g t h e a c t i o n w h i c h h a s r e c e i v e d t h e m a x i m u m n u m b e r

o f v o t e s . F u z z y c o m m a n d f u s i o n m e c h a n i s m s a r e v e r y s i m i l a r t o v o t i n g t e c h n i q u e s , h o w e v e r ,

f u z z y i n f e r e n c i n g t e c h n i q u e s a r e u s e d f o r i m p l e m e n t i n g s t e p s 1 t h r o u g h 3 . S u p e r p o s i t i o n

t e c h n i q u e s c o m b i n e b e h a v i o r r e c o m m e n d a t i o n s u s i n g l i n e a r c o m b i n a t i o n s . F i n a l l y , t h e r e

i s t h e c l a s s o f m u l t i p l e o b j e c t i v e b e h a v i o r c o o r d i n a t i o n

1

, w h i c h p r o v i d e a f o r m a l d e c i s i o n -

t h e o r e t i c a p p r o a c h t o m a k i n g d e c i s i o n s b a s e d o n m u l t i p l e o b j e c t i v e d e c i s i o n t h e o r y .

N o t i n c l u d e d i n t h i s t a x o n o m y a r e t h e c l a s s o f l e a r n i n g t e c h n i q u e s f o r a c t i o n s e l e c t i o n .

T h e s e t e c h n i q u e s c a n b e u s e d t o ` l e a r n ' h o w t o s e l e c t a n a c t i o n . T h e m o s t p o p u l a r t e c h n i q u e

i n t h i s c a t e g o r y i s r e i n f o r c e m e n t l e a r n i n g .

6 P r i o r i t y - b a s e d a r b i t r a t i o n

6 . 1 T h e s u b s u m p t i o n a r c h i t e c t u r e B r o o k s 8 6 ]

T h e s u b s u m p t i o n a r c h i t e c t u r e ( S A ) 1 0 ] p r o m o t e d b y R o d n e y B r o o k s , c o n s i s t s o f a s e r i e s

o f b e h a v i o r s , w h i c h c o n s t i t u t e a n e t w o r k o f h a r d w i r e d n i t e s t a t e m a c h i n e s . A c t i o n s e l e c -

t i o n c o n s i s t s o f h i g h e r - l e v e l b e h a v i o r s o v e r r i d i n g ( o r s u b s u m i n g ) t h e o u t p u t o f l o w e r - l e v e l

b e h a v i o r s .

I n t h e s u b s u m p t i o n a r c h i t e c t u r e B r o o k s d e n e s l e v e l s o f c o m p e t e n c e w h i c h i s a n i n f o r m a l

s p e c i c a t i o n o f a d e s i r e d c l a s s o f b e h a v i o r a t d i e r e n t a b s t r a c t i o n l e v e l s :

1 . A v o i d c o n t a c t w i t h o b j e c t s

2 . W a n d e r a i m l e s s l y a r o u n d

3 . E x p l o r e t h e w o r l d

4 . . . .

A h i g h e r l e v e l o f c o m p e t e n c e i m p l i e s a m o r e s p e c i c d e s i r e d c l a s s o f b e h a v i o r s . B r o o k s ,

a r g u e s t h a t a d h e r i n g t o t h e p r i n c i p l e s o f t h e s u b s u m p t i o n a r c h i t e c t u r e o n e c a n i n c r e m e n t a l l y

b u i l d a s y s t e m . A c o m p l e t e r o b o t c o n t r o l s y s t e m i s b u i l t , w h i c h a c h i e v e s o n e l e v e l o f c o m p e -

t e n c e , e . g . , a v o i d c o n t a c t w i t h o b j e c t s . O n c e t h e d e s i g n e r i s s a t i s e d w i t h t h e p e r f o r m a n c e

o f t h i s l e v e l h e / s h e b u i l d s t h e 2 n d l e v e l o f c o m p e t e n c e . E a c h l e v e l i s a b l e t o e x a m i n e d a t a

f r o m t h e l e v e l s b e l o w a n d i s a l s o p e r m i t t e d t o i n j e c t d a t a i n t o t h e i n t e r n a l i n t e r f a c e s o f t h e

l e v e l s b e l o w t h u s s u p p r e s s i n g n o r m a l d a t a o w .

1

A l s o k n o w n a s m u l t i p l e o b j e c t i v e a c t i o n s e l e c t i o n m e c h a n i s m s

1 0


11/49

ActuatorsSensors

higher levels

Avoid collision

Wander around

Explore

level 1

level 2

level 3

F i g u r e 5 : A s u b s u m p t i o n a r c h i t e c t u r e w i t h a l a y e r o f l e v e l s o f c o m p e t e n c e f o r a m o b i l e r o b o t .

E a c h l e v e l o f c o m p e t e n c e i n t h e s u b s u m p t i o n a r c h i t e c t u r e i s i m p l e m e n t e d u s i n g a n i t e

s t a t e m a c h i n e a u g m e n t e d w i t h t i m i n g e l e m e n t s a n d r e g i s t e r s ( d e n o t e d A F S M s , a u g m e n t e d

n i t e s t a t e m a c h i n e s ) . B e h a v i o r s a r e u s u a l l y c o n s t r u c t e d b y t h e B e h a v i o r L a n g u a g e 1 1 ]

w h i c h i s a h i g h l e v e l l a n g u a g e f o r w r i t i n g s u b s u m p t i o n p r o g r a m s .

I n t h e s u b s u m p t i o n a r c h i t e c t u r e ( S A ) , m o d u l e s / b e h a v i o r s c a n n o t c o o p e r a t e - e a c h l a y e r i s

b u i l t o n i t s o w n \ h a r d w a r e " t o t a l l y f r o m s c r a t c h . T h e c o n t r o l s y s t e m i s h a r d - w i r e d d i r e c t l y

i n t h e s t r u c t u r e o f t h e b e h a v i o r s a n d t h e i r i n t e r c o n n e c t i o n s , a n d c a n t h u s n o t b e a l t e r e d

w i t h o u t r e d e s i g n i n g t h e s y s t e m .

I t c a n b e s h o w n t h a t a c o m b i n a t o r i a l e x p l o s i o n i n t h e n u m b e r o f p o s s i b l e b e h a v i o r s c a n

o c c u r w h e n c o m p o s i n g b e h a v i o r s a c c o r d i n g t o t h e s u b s u m p t i o n a r c h i t e c t u r e 3 , 6 5 ] . H o w e v e r ,

i n 1 5 ] i t i s d e m o n s t r a t e d h o w t h e s u b s u m p t i o n a p p r o a c h c a n b e u s e d t o c o n s t r u c t c o n t r o l l e r s

f o r c o m p l e x s y s t e m s . T h e S A c o n t r o l l e r i s d e s i g n e d o n a s i n g l e 1 5 M H z C P U f o r a 1 9 D O F

i n s e c t - l i k e r o b o t w i t h 6 0 s e n s o r s . A n o t h e r i m p o r t a n t l i m i t a t i o n o f S A i s t h e l a c k o f e x p l i c i t

g o a l s a n d i t s g o a l - h a n d l i n g c a p a b i l i t i e s . T h e f u n c t i o n a l i t y o f a S A b a s e d r o b o t i s v i e w e d

a s a n e m e r g e n t p r o p e r t y o f t h e i n t e r a c t i o n o f i t s b e h a v i o r s a n d d e p e n d s o n t h e s t a t i c a n d

d y n a m i c p r o p e r t i e s o f t h e e n v i r o n m e n t . I n c e r t a i n c a s e s i t w o u l d b e c o n v e n i e n t t o h a v e m o r e

d i r e c t c o n t r o l o f t h e r o b o t , h o w e v e r , t y p i c a l l y t h e r e i s n o w a y t o e x t e r n a l l y g u i d e s u c h r o b o t s .

T h e s u b s u m p t i o n a r c h i t e c t u r e h a s c o n t r i b u t e d t o a f r u i t f u l d e b a t e i n m a n y e l d s i n c l u d i n g

a r t i c i a l i n t e l l i g e n c e a n d r o b o t i c s . A s a r e s u l t o f t h i s d e b a t e , m a n y i d e a s r e l a t e d t o r e a c t i v e

a n d b e h a v i o r b a s e d s y s t e m s w e r e i n v e s t i g a t e d b y m a n y r e s e a r c h e r s , w h e r e i t s a d v a n t a g e s

a n d d i s a d v a n t a g e s w e r e e x p l o r e d a n d d e m o n s t r a t e d .

7 S t a t e - B a s e d a r b i t r a t i o n

7 . 1 D i s c r e t e E v e n t S y s t e m s K o ^ s e c k a 1 9 9 3 ]

I n t h i s f r a m e w o r k t h e i n t e r a c t i o n o f b e h a v i o r s a r e f o r m a l i z e d b y t h e D E S f o r m a l i s m i n a

m o d u l a r a n d h i e r a r c h i c a l f a s h i o n 2 3 ] . B e h a v i o r s e l e c t i o n i s d o n e u s i n g s t a t e - t r a n s i t i o n ,

w h e r e u p o n d e t e c t i o n o f a c e r t a i n e v e n t a s h i f t i s m a d e t o a n e w s t a t e a n d t h u s a n e w

b e h a v i o r . U s i n g t h i s f o r m a l i s m , s y s t e m s a r e m o d e l e d i n t e r m s o f n i t e s t a t e a u t o m a t a ( F S A ) ,

w h e r e s t a t e s c o r r e s p o n d t o e x e c u t i o n o f a c t i o n s / b e h a v i o r s a n d e v e n t s , w h i c h c o r r e s p o n d t o

o b s e r v a t i o n s a n d a c t i o n s , c a u s e t r a n s i t i o n s b e t w e e n t h e s t a t e s . S e e e x a m p l e F S A i n g u r e 6 .

1 1


12/49

T h e a g e n t a n d i t s i n t e r a c t i o n w i t h t h e e n v i r o n m e n t a r e m o d e l e d b y a F S A a n d i s d e n o t e d

t h e p l a n t . T h e d e s i g n o b j e c t i v e i s t o s p e c i f y a n a d d i t i o n a l F S A , c a l l e d t h e s u p e r v i s o r , t h a t

i n t e r a c t s w i t h a n d m o d i e s t h e o p e n - l o o p b e h a v i o r o f t h e p l a n t i n o r d e r t o a s s u r e c o r r e c t

b e h a v i o r o f t h e p l a n t i n a c c o r d a n c e w i t h s o m e s p e c i e d c o n s t r a i n t s . T h e s u p e r v i s o r a c h i e v e s

i t s o b j e c t i v e b y e n a b l i n g a n d d i s a b l i n g t h e e v e n t s w h i c h a r e c o n t r o l l a b l e t o m o d i f y t h e s t a t e

t r a n s i t i o n f u n c t i o n o f t h e p l a n t s o t h a t o n l y d e s i r e d s u b s e t s o f e v e n t s e q u e n c e s a r e g e n e r a t e d

b y t h e p l a n t m o d e l .

I n p r a c t i c e e a c h a c t u a t o r a n d p e r c e p t u a l c o m p o n e n t o f t h e p h y s i c a l a g e n t i s m o d e l e d b y

a F S A c a l l e d t h e f u n d a m e n t a l m o d e l . T h e n t o c o m p o s e m o r e c o m p l e x b e h a v i o r s f r o m t h e

f u n d a m e n t a l m o d e l s , a s u p e r v i s o r i s s y n t h e s i z e d t h a t c o n t r o l s t h e i r i n t e r a c t i o n w i t h e a c h

o t h e r a n d t h e e n v i r o n m e n t . F o r c o m p l e x s y s t e m s a n d t a s k s t h i s m o d e l i n g t a s k c a n , h o w e v e r ,

b e v e r y t e d i o u s a n d c o m p l e x . T h u s C h r i s t e n s e n a n d K o ^ s e c k a h a v e d e v e l o p e d l i n g u i s t i c

t o o l s t h a t a u t o m a t i c a l l y c a n t r a n s f e r t e x t u a l d e s c r i p t i o n s o f p l a n s t o m o d e l s a n d F S A s t h a t

i m p l e m e n t t h e d e s i r e d b e h a v i o r 2 4 ] . T h i s a p p r o a c h , d e n o t e d t h e t a s k s p e c i c a t i o n l a n g u a g e

a p p r o a c h , u s e s t h e r o b o t s c h e m a ( R S ) m o d e l o f L y o n s 3 1 ] , w h i c h i s a g e n e r a l p r o c e s s a l g e b r a .

T h e t r a n s f o r m a t i o n f r o m t a s k d e s c r i p t i o n t o F S A m o d e l s i s p e r f o r m e d i n t h r e e s t e p s . F i r s t

a F S A i s d e n e d f o r e a c h o p e r a t o r o f t h e R S m o d e l . T h e n t h e F S A s a r e c o m b i n e d t o b u i l d

a n F S A m o d e l i n g t h e s p e c i e d t a s k , w h i c h n a l l y i s u s e d t o s y n t h e s i z e a s u p e r v i s o r f o r t h a t

t a s k .

user_command

Traverse

Door

Start

Find Door

door_not_found

door_traversed

door_found

obstacle_avoided obstacle_on_path

Avoid

Obstacle

Stop

obstacle_on_path

door_not_traversed

F i g u r e 6 : A n e x a m p l e F S A e n c o d i n g a d o o r t r a v e r s a l b e h a v i o r .

1 2


13/49

7 . 2 T e m p o r a l S e q u e n c i n g A r k i n & M a c K e n z i e 9 4 ]

T h e t e m p o r a l s e q u e n c i n g a p p r o a c h a l s o k n o w n a s p e r c e p t u a l s e q u e n c i n g a n d s e q u e n c e d c o -

o r d i n a t i o n 6 ] i s v e r y s i m i l a r t o t h e d i s c r e t e e v e n t s y s t e m a p p r o a c h . A n i t e - s t a t e a u t o m a t o n

i s u s e d f o r f o r m u l a t i n g a m e c h a n i s m f o r s e q u e n c i n g b e t w e e n a s e r i e s o f b e h a v i o r s b a s e d o n

p e r c e p t u a l t r i g g e r s . A t e a c h s t a t e a d i s t i n c t b e h a v i o r i s a c t i v a t e d a n d p e r c e p t u a l t r i g g e r s

c a u s e t r a n s i t i o n s f r o m o n e s t a t e t o a n o t h e r . T h e k n o w l e d g e o f w h e n a n d h o w t o a c t i v a t e

w h i c h b e h a v i o r i s i m p l e m e n t e d i n t h e b e h a v i o r a n d h a r d w a r e d e n i t i o n l a n g u a g e B H D L . I n

t h i s e n c o d i n g s c h e m e , s t a t e s c o r r e s p o n d t o m o t o r s c h e m a s ( s e e s e c t i o n 1 2 . 2 f o r d e s c r i p t i o n

o f s c h e m a s ) ( e . g . , a v o i d o b s t a c l e ) a n d s t a t e t r a n s i t i o n s , a l s o c a l l e d p e r c e p t u a l t r i g g e r s , c o r -

r e s p o n d t o p e r c e p t u a l s c h e m a s ( e . g . , d e t e c t o b s t a c l e ) i n s t a n c e s o f w h i c h r u n i n p a r a l l e l w i t h

o t h e r s c h e m a s a n d s i g n a l a s c h e m a m a n a g e r o f s t a t e c h a n g e s . F i g u r e 6 d e p i c t s a s i m p l e

F S A t h a t c o n s i s t s o f 5 s t a t e s : s t a r t , n d d o o r , t r a v e r s e d o o r , a v o i d o b s t a c l e a n d s t o p . A

u s e r c o m m a n d t r i g g e r s t h e r o b o t t o s t a r t l o o k i n g f o r a d o o r , w h e n t h e d o o r i s f o u n d i t s t a r t s

t r a v e r s i n g t h e d o o r . D u r i n g t h i s s t a t e i f a n o b s t a c l e i s d e t e c t e d o n t h e r o b o t p a t h a n o b s t a c l e

a v o i d a n c e b e h a v i o r i s i n v o k e d u n t i l o b s t a c l e c l e a r a n c e i s a c h i e v e d . T h e r o b o t s t o p s w h e n t h e

d o o r h a s b e e n s u c c e s s f u l l y t r a v e r s e d .

T h i s b e h a v i o r c o o r d i n a t i o n t e c h n i q u e t o g e t h e r w i t h t h e m o t o r s c h e m a s a p p r o a c h ( s e e s e c -

t i o n 1 2 . 2 ) h a s b e e n u s e d i n d e s i g n o f a s e r i e s o f r o b o t i c d e m o n s t r a t o r s i n c l u d i n g c o o p e r a t i n g

r o b o t s 7 ] .

7 . 3 B a y e s i a n D e c i s i o n A n a l y s i s K r i s t e n s e n 1 9 9 6 ]

T h e a p p r o a c h p r e s e n t e d i n 2 6 ] a d d r e s s e s t h e r e l a t e d p r o b l e m o f s e n s o r s e l e c t i o n , i . e . , w h i c h

s e n s o r s t o u s e f o r w h i c h p u r p o s e . S e n s o r s e l e c t i o n c a n b e c o n s i d e r e d a s p e c i a l c a s e o f a c t i o n

s e l e c t i o n , w h e r e t h e a c t i o n s a r e c e r t a i n s e n s o r o p e r a t i o n s . I t o p e r a t e s a c c o r d i n g t o t h e p u r -

p o s i v e p a r a d i g m , i . e . , t h e s y s t e m c o n s i s t s o f a s e t o f p u r p o s i v e m o d u l e s s i m i l a r t o b e h a v i o r s .

T h e t a s k t h a t i s c o n s i d e r e d , ( s e e g u r e 7 ) i s t o d e c i d e w h i c h s e n s o r s t o a l l o c a t e t o w h i c h

p u r p o s i v e m o d u l e s i n o r d e r t o a c c o m p l i s h a g i v e n t a s k w h i c h i s d e c l a r e d b y t h e m i s s i o n

p l a n n i n g m o d u l e .

T h e a p p r o a c h i s b a s e d o n B a y e s i a n d e c i s i o n t h e o r y a n d u t i l i t y t h e o r y . T h e o b j e c t i v e i s

t o c h o o s e t h e a c t i o n t h a t m a x i m i z e s t h e e x p e c t e d u t i l i t y o f t h e a g e n t . I n o t h e r w o r d s , s e n s i n g

a c t i o n s a r e e v a l u a t e d i n a c o s t / b e n e t m a n n e r w h e r e e a c h s e n s i n g a c t i o n i s a s s o c i a t e d w i t h a

c e r t a i n c o s t o r e x p e n s e a n d b e n e t i s a s s o c i a t e d w i t h t h e i n f o r m a t i o n p r o v i d e d b y t h e s e n s i n g

a c t i o n . T h i s a p p r o a c h h a s t h e v i e w t h a t p l a n n i n g a h e a d o f t i m e i n d y n a m i c e n v i r o n m e n t s

m a k e s l i t t l e s e n s e t h u s m y o p i c p l a n n i n g i s u s e d , w h e r e o n l y o n e s t e p a h e a d o f t i m e i s p l a n n e d .

T h e s t r u c t u r e o f t h e d e c i s i o n p r o b l e m i s d e p i c t e d i n g u r e 8 . T h e r o o t n o d e r e p r e s e n t s t h e

d e c i s i o n t a s k o f s e n s o r s e l e c t i o n . T h e m + 1 a r c s c o n n e c t e d t o t h e r o o t d e n o t e t h e s i t u a t i o n

w h e r e t h e s e n s o r i s a l l o c a t e d t o o n e o f m p u r p o s i v e m o d u l e s o r n o t a l l o c a t e d t o a n y m o d u l e

a t a l l . T h e l a t t e r c o r r e s p o n d s t o t h e c a s e w h e r e t h e c o s t o f s e n s i n g w o u l d b e h i g h e r t h a n

t h e e x p e c t e d p a y o . T h e r e p o r t n o d e r e p r e s e n t s t h e r a n d o m o u t c o m e , x

j

, o f t h e s e n s i n g

a c t i o n . T o e a c h r e p o r t n o d e , i s c o n n e c t e d a n a c t u a t o r a c t i o n n o d e w h i c h r e p r e s e n t s t h e n a l

c o n s e q u e n c e o f a c t i o n t h a t w i l l l e a d t o t h e c o m p l e t i o n o f t h e t a s k . T h e s t a t e n o d e r e p r e s e n t s

t h e s t a t e , z , t h a t t h e w o r l d w i l l a s s u m e a f t e r a c t u a t o r a c t i o n a

k

. W i t h e a c h a c t i o n - s t a t e

p a i r i s a s s o c i a t e d a u t i l i t y , U ( a

k

z ) t h a t i n d i c a t e s t h e p a y o f r o m s e l e c t i n g a c t i o n a

k

w h e n

t h e s t a t e o f a a i r s i s g i v e n b y z . F o r e x a m p l e , g o i n g t h r o u g h t h e d o o r w a y w h e n t h e d o o r

i s c l o s e d s h o u l d h a v e a l o w u t i l i t y a n d g o i n g t h r o u g h t h e d o o r w a y w h e n t h e d o o r i s o p e n

s h o u l d h a v e a h i g h u t i l i t y .

1 3


14/49

planning

mission

higher level plann.

user interface/

actuator_s

sensor1

actuator1

sensor_r

module1

purposive

purposive

module2

purposive

module_m

planning

sensor

F i g u r e 7 : T h e A r c h i t e c t u r e u s e d i n t h e s e n s o r s e l e c t i o n a p p r o a c h i n 2 6 ] . C e r t a i n s e n s o r s , e . g . ,

a c t i v e s e n s o r s , c a n b e a c c e s s e d b y o n e p u r p o s i v e m o d u l e a t a t i m e t h u s t h e s e n s o r p l a n n i n g

m o d u l e h a s t o r e s o l v e s e n s o r c o n t e n t i o n s .

T h u s a t e a c h c y c l e t h e p l a n n e r d e c i d e s w h i c h s e n s o r t o g r a n t t o w h i c h r e q u e s t i n g p u r p o s i v e

m o d u l e , w h i c h i n t u r n g a t h e r s i n f o r m a t i o n b y s e n s i n g . T h i s c o n t r o l b e h a v i o r i s d e p i c t e d i n

g u r e 9 u s i n g a n i t e s t a t e a u t o m a t o n . W h e n i t n o l o n g e r p a y s o t o c o l l e c t i n f o r m a t i o n , i . e . ,

w h e n A

0

i s o p t i m a l , t h e p l a n n e r s e l e c t s a n a c t u a t o r a c t i o n t o p e r f o r m , w h i c h c o n s e q u e n t l y

r e v e a l s w h a t u t i l i t y i s e a r n e d .

I n p r a c t i c e t h i s s e n s o r p l a n n i n g f r a m e w o r k s h o u l d h a v e a c c e s s t o t h e f o l l o w i n g c o m p o -

n e n t s :

P r o b a b i l i s t i c m o d e l o f t h e p u r p o s i v e m o d u l e s . T h i s m o d e l i s s p e c i e d i n t e r m s o f

c o n d i t i o n a l p r o b a b i l i t i e s t h a t m o d e l h o w l i k e l y i t i s f o r a m o d u l e t o r e p o r t t h e c o r r e c t

s t a t e o f t h e e n v i r o n m e n t .

P r o b a b i l i t i e s , t h a t e x p r e s s a p r i o r i i n f o r m a t i o n a b o u t t h e r e p o r t s a n d t h e s t a t e o f t h e

w o r l d .

U t i l i t i e s a n d c o s t t h a t r e e c t w h a t i t i s w o r t h p e r f o r m i n g a n a c t i o n i n a g i v e n w o r l d

s t a t e a n d t h e c o s t o f d o i n g s o .

T h e c o n s t r u c t i o n o f t h e p r o b a b i l i s t i c m o d e l o f t h e p u r p o s i v e m o d u l e s i s u s u a l l y d o n e

e x p e r i m e n t a l l y t h r o u g h a n u m b e r o f e x p e r i m e n t s . A s e t o f e x p e r i m e n t s s h o u l d b e c o n d u c t e d

f o r e a c h p u r p o s i v e m o d u l e i n t h e t a r g e t e n v i r o n m e n t . S i g n i c a n t c h a n g e s i n t h e e n v i r o n -

m e n t u s u a l l y m e a n t h a t t h e m o d e l s h o u l d b e r e g e n e r a t e d . T h e u t i l i t i e s a n d c o s t s o f a c t i o n s

a r e u s u a l l y d e t e r m i n e d h e u r i s t i c a l l y a n d t h r o u g h n e - t u n i n g u n t i l t h e d e s i r e d b e h a v i o r i s

r e e c t e d . T h e u t i l i t i e s i n s o m e s e n s e r e p r e s e n t p r e f e r e n c e s o n t h e s e t o f a c t i o n s .

T h i s a p p r o a c h h a s b e e n a p p l i e d t o a n i n d o o r m o b i l e r o b o t n a v i g a t i o n s y s t e m , w h e r e t h e

r o b o t a u t o n o m o u s l y n a v i g a t e s f r o m o n e r o o m t o a n o t h e r i n a n o c e l i k e b u i l d i n g a v o i d i n g

o b s t a c l e s o n i t s w a y .

1 4


15/49

a

a

A

A

A

m

i

a

a

a

z

z

z

z

z

z

0

l

q

ap

I

l

k

p

n

j

l

l

k

I

l

q

x

U(a , z )k l

U(a , z )lk

x

x

F i g u r e 8 : T h e s t a n d a r d s t r u c t u r e o f a d e c i s i o n t r e e , a d a p t e d f r o m 4 5 ] .

sensorgrant

wait

perform

start

continue

done

actionactuator

Ai

0A

F i g u r e 9 : T h e c o n t r o l s t r u c t u r e f o r a p l a n n i n g t a s k , a d a p t e d f r o m 2 7 ] . A

i

m e a n s a l l a c t i o n s

e x c e p t f r o m A

0

. W h i l e i n t h e w a i t s t a t e t h e p l a n n e r w a i t s f o r s e n s o r r e q u e s t s .

7 . 4 R e i n f o r c e m e n t L e a r n i n g a p p r o a c h e s t o a c t i o n s e l e c t i o n

A f u n d a m e n t a l l y d i e r e n t a p p r o a c h t o a c t i o n s e l e c t i o n i s t o l e a r n t h e a c t i o n s e l e c t i o n m e c h -

a n i s m . S e v e r a l a p p r o a c h e s t o l e a r n i n g o f a c t i o n s e l e c t i o n e x i s t a n d t h e m o s t p r o m i s i n g o f

t h e t e c h n i q u e s i s r e i n f o r c e m e n t l e a r n i n g . B a s i c a l l y r e i n f o r c e m e n t l e a r n i n g i s a w a y t o i n d u c e ,

b a s e d o n t r i a l a n d e r r o r , a p e r c e p t i o n t o a c t i o n m a p p i n g t h a t m a x i m i z e s s o m e r e w a r d . T h e

r o b o t l e a r n s t h e p e r c e p t i o n - a c t i o n m a p p i n g , k n o w n a s a p o l i c y , b y e x p l o r i n g a c t i o n s t h a t

s u b s e q u e n t l y l e a d t o s o m e r e w a r d . T h e r e w a r d f u n c t i o n i s d e s i g n e d s o t o e n c o u r a g e d e s i r e d

b e h a v i o r s a n d s u p p r e s s u n w a n t e d a c t i o n s . T h u s t h e r o b o t w i l l s e l e c t a c t i o n s t h a t m a x i m i z e

t h e e x p e c t e d r e w a r d . T h e d e s i g n o f t h e r e w a r d f u n c t i o n c a n t h u s b e a s d i c u l t , a s h a n d

c o d i n g o f b e h a v i o r s , f o r c o m p l e x p r o b l e m s . F u r t h e r , a s t h e c o m p l e x i t y o f t h e p r o b l e m s s c a l e s

u p , t h e s i z e o f t h e s t a t e - s p a c e i n c r e a s e s d r a m a t i c a l l y t h u s m a k i n g t h e m e c h a n i s m s p r a c t i c a l l y

i n t r a c t a b l e .

1 5


16/49

7 . 4 . 1 H i e r a r c h i c a l Q - l e a r n i n g L i n 9 3 ]

T o a v o i d t h e s c a l i n g p r o b l e m o f r e i n f o r c e m e n t l e a r n i n g f o r c o m p l e x p r o b l e m s L i n p r o p o s e s

a n a p p r o a c h t h a t b r e a k s d o w n a c o m p l e x t a s k i n t o a s e t o f s i m p l e r t a s k s 3 0 ] . M u c h l i k e

t h e b e h a v i o r - b a s e d a p p r o a c h t o r o b o t c o n t r o l , t h e l e a r n i n g p r o b l e m i s d i v i d e d i n t o a s e t o f

s i m p l e r p r o b l e m s e a c h l e a r n e d s e p a r a t e l y b y a Q - l e a r n i n g m o d u l e . F u r t h e r , a Q - l e a r n i n g

a c t i o n s e l e c t i o n m e c h a n i s m i s d e n e d f o r a r b i t r a t i n g b e t w e e n t h e e x i s t i n g n m o d u l e s . I . e . ,

u p o n o b s e r v i n g a s t a t e , x , t h e a r b i t r a t i o n m o d u l e s e l e c t s a m o d u l e , A

i

, w h i c h t h e n e x e c u t e s

a n a c t i o n .

7 . 4 . 2 W - l e a r n i n g H u m p h r y s 9 7 ]

W - l e a r n i n g i s a s o m e w h a t d i e r e n t r e i n f o r c e m e n t l e a r n i n g a p p r o a c h f o r a c t i o n s e l e c t i o n p r e -

s e n t e d i n 1 9 ] . I n t h i s a p p r o a c h e a c h m o d u l e / b e h a v i o r r e c o m m e n d s a n a c t i o n w i t h s o m e

W e i g h t ( h e n c e t h e t e r m W - l e a r n i n g ) a n d t h e n t h e a c t i o n w i t h t h e h i g h e s t w e i g h t i s s e l e c t e d

a n d e x e c u t e d . T h e W - v a l u e s o f e a c h b e h a v i o r a r e t h e n m o d i e d b a s e d o n t h e d i e r e n c e b e -

t w e e n t h e w i n n i n g a c t i o n a n d t h e a c t i o n d e s i r e d b y t h e b e h a v i o r . 1 9 ] p r o p o s e s s e v e r a l w a y s

o f u p d a t i n g t h e W - v a l u e s b a s e d o n : m i n i m i z e t h e w o r s t u n h a p p i n e s s , m a x i m i z e t h e b e s t

h a p p i n e s s e t c . T h e r e s u l t s o f t h i s a p p r o a c h a r e d e m o n s t r a t e d i n a s i m u l a t e d e n v i r o n m e n t o f

a h o u s e k e e p i n g r o b o t t h a t h a s t o a t t e n d t o s e v e r a l t a s k s i n c l u d i n g p u t t i n g o r e , a v o i d i n g

a p r e d a t o r e t c .

8 W i n n e r - t a k e - a l l a r b i t r a t i o n

8 . 1 A c t i v a t i o n N e t w o r k s M a e s 1 9 8 9 ]

I n t h i s a p p r o a c h t h e s y s t e m c o n s i s t s o f a s e t o f b e h a v i o r s o r c o m p e t e n c e m o d u l e s w h i c h a r e

c o n n e c t e d t o f o r m a n e t w o r k . T h i s a p p r o a c h i s b a s e d o n a s o c i e t y - o f - m i n d t y p e o f i d e a 3 7 ] ,

a n d i t a c t u a l l y i m p l e m e n t s a d i e r e n c e - e n g i n e , w h e r e a s e t o f b e h a v i o r s r e d u c e t h e d i e r e n c e

b e t w e e n t h e s y s t e m ' s p r e s e n t s t a t e a n d a g o a l s t a t e . T h i s t e c h n i q u e i s c a l l e d t h e M e a n s - E n d s

A n a l y s i s a n d w a s r s t i n t r o d u c e d i n t h e G e n e r a l P r o b l e m S o l v e r 4 0 ] . I n t h e n e t w o r k e a c h

b e h a v i o r i s r e p r e s e n t e d b y a t u p l e ( c

i

a

i

d

i

i

) d e s c r i b i n g : 1 ) t h e p r e c o n d i t i o n s u n d e r w h i c h

i t i s e x e c u t a b l e ( i . e . , c a n b e a p p l i e d ) , 2 ) t h e e e c t s a f t e r s u c c e s s f u l e x e c u t i o n i n f o r m o f a n

a d d - l i s t a

i

a n d d e l e t e - l i s t d

i

a n d 3 ) a c t i v a t i o n l e v e l ,

i

, w h i c h i s a m e a s u r e o f a p p l i c a b i l i t y

o f t h e b e h a v i o r . W h e n t h e a c t i v a t i o n l e v e l o f a n e x e c u t a b l e b e h a v i o r e x c e e d s a s p e c i e d

t h r e s h o l d , i t i s s e l e c t e d t o f u r n i s h i t s a c t i o n . E v i d e n t i a l l y t h i s a c t i o n s e l e c t i o n m e c h a n i s m s

d e a l s o n l y w i t h s e l e c t i o n o f b e h a v i o r s a n d n o t w i t h m o t o r a c t i o n s . W h e n a b e h a v i o r i s

s e l e c t e d i t w i l l p e r f o r m t h e m o s t a p p r o p r i a t e a c t i o n f r o m i t s p o i n t o f v i e w . T h e a c t i v a t i o n

l e v e l o f t h e b e h a v i o r s i s i n u e n c e d b y a n e x t e r n a l i n j e c t i o n a n d r e m o v a l o f a c t i v a t i o n e n e r g y

f r o m t h e n e t w o r k a s w e l l a s i n t e r n a l e x c h a n g e o f a c t i v a t i o n e n e r g y b e t w e e n t h e m o d u l e s

w i t h i n t h e n e t w o r k .

E x t e r n a l s o u r c e s o f a c t i v a t i o n :

A c t i v a t i o n b y t h e s t a t e : A c t i v a t i o n e n e r g y i s s p r e a d f r o m t h e s t a t e o f t h e e n v i r o n m e n t

t o b e h a v i o r s t h a t m a t c h t h e c u r r e n t s t a t e

2

i s t h e a m o u n t o f a c t i v a t i o n e n e r g y i n j e c t e d

i n t o t h e n e t w o r k f o r a v a l i d p r o p o s i t i o n o f t h e c u r r e n t s t a t e . T o a l l o w m o d u l e s t h a t

2

A b e h a v i o r i s s a i d t o m a t c h t h e c u r r e n t s t a t e i f a t l e a s t o n e o f i t s p r e c o n d i t i o n s a r e t r u e

1 6


17/49

u s e t h e s a m e p r e c o n d i t i o n t o c o m p e t e t h e a m o u n t o f a c t i v a t i o n e n e r g y , , i s d i v i d e d

e q u a l l y b e t w e e n t h e m .

A c t i v a t i o n b y t h e g o a l s : E a c h g o a l i n j e c t s a c t i v a t i o n t o t h e b e h a v i o r s t h a t a s a c o n -

s e q u e n c e o f t h e i r e x e c u t i o n c a n f u l l l t h e g o a l s , i . e . , o n e o f t h e g o a l s b e l o n g s t o t h e

b e h a v i o r s a d d - l i s t . i s a p a r a m e t e r t h a t d e t e r m i n e s t h e a m o u n t o f a c t i v a t i o n e n e r g y

i n j e c t e d i n t o t h e n e t w o r k b y a g o a l a n d i s d i v i d e d b e t w e e n b e h a v i o r s t h a t c a n a c h i e v e

t h e g o a l .

I n h i b i t i o n b y p r o t e c t e d g o a l s : T h e a c t i v a t i o n l e v e l o f a b e h a v i o r i s d e c r e a s e d i f i t c a n

u n d o a g o a l t h a t h a s a l r e a d y b e e n a c h i e v e d . A n a l r e a d y a c h i e v e d g o a l ( a p r o t e c t e d

g o a l ) c a n b e u n d o n e b y a b e h a v i o r t h a t h a s t h e g o a l i n i t s d e l e t e - l i s t . i s t h e a m o u n t

o f a c t i v a t i o n e n e r g y r e m o v e d f r o m t h e n e t w o r k b y a p r o t e c t e d g o a l .

I n t e r n a l s o u r c e s o f a c t i v a t i o n :

A c t i v a t i o n o f s u c c e s s o r s : A n e x e c u t a b l e b e h a v i o r , b , ( i . e . , o n e w i t h s a t i s e d p r e c o n d i -

t i o n s ) s p r e a d s a c t i v a t i o n t o b e h a v i o r s w i t h p r e c o n d i t i o n s t h a t w i l l b e c o m e t r u e a f t e r

a c t i v a t i o n o f b . F o r e a c h t r u e p r o p o s i t i o n i n i t s a d d - l i s t a b e h a v i o r i n c r e a s e s i t s s u c -

c e s s o r s ' a c t i v a t i o n l e v e l b y

A c t i v a t i o n o f p r e d e c e s s o r s : A b e h a v i o r b t h a t i s n o t e x e c u t a b l e s p r e a d s a c t i v a t i o n t o

b e h a v i o r s t h a t m a y m a k e i t e x e c u t a b l e , i . e . b e h a v i o r s w h i c h w h e n e x e c u t e d w i l l m a k e

s o m e o f b ' s p r e c o n d i t i o n s t r u e . F o r e a c h f a l s e p r e c o n d i t i o n a b e h a v i o r i n c r e a s e s i t s

p r e d e c e s s o r s ' a c t i v a t i o n l e v e l b y

I n h i b i t i o n o f c o n i c t o r s : E v e r y b e h a v i o r d e c r e a s e s t h e a c t i v a t i o n l e v e l o f b e h a v i o r s ,

c a l l e d c o n i c t o r s , t h a t c a n m a k e i t s p r e c o n d i t i o n s f a l s e . F o r e a c h t r u e p r e c o n d i t i o n a

b e h a v i o r r e m o v e s

f r o m i t s c o n i c t o r s . T h e a m o u n t o f i n t e r n a l a c t i v a t i o n t r a n s f e r t o

a b e h a v i o r i s d i v i d e d b y n , w h i c h i s t h e n u m b e r o f p r o p o s i t i o n s i n t h e p r e c o n d i t i o n l i s t ,

a d d - l i s t o r d e l e t e - l i s t d e p e n d i n g o n t h e t y p e o f a c t i v a t i o n e n e r g y e x c h a n g e .

T h e a c t i v a t i o n e n e r g y e x c h a n g e t a k e s p l a c e c o n t i n u o u s l y a n d a t e a c h c y c l e a n e x e c u t a b l e

b e h a v i o r w i t h t h e h i g h e s t a c t i v a t i o n l e v e l i s s e l e c t e d . F i g u r e 1 0 i l l u s t r a t e s a n e x a m p l e a c t i -

v a t i o n n e t w o r k t a k e n f r o m 3 4 ] . I f t h i s b e h a v i o r ' s a c t i v a t i o n l e v e l i s a b o v e s o m e t h r e s h o l d

t h e n i t i s a l l o w e d t o e x e c u t e o t h e r w i s e t h e t h r e s h o l d i s d e c r e a s e d b y 1 0 % a n d t h e c y c l e i s

r e p e a t e d u n t i l s o m e b e h a v i o r i s s e l e c t e d .

B y e x c h a n g e o f a c t i v a t i o n e n e r g y t h e b e h a v i o r s c o m p e t e a n d c o o p e r a t e t o s e l e c t a n a c t i o n

( a b e h a v i o r t h a t p e r f o r m s a n a c t i o n ) t h a t i s m o s t a p p r o p r i a t e t o t h e c u r r e n t e n v i r o n m e n t

s t a t e a n d s y s t e m g o a l s . T h e w a y a c t i v a t i o n e n e r g y i s e x c h a n g e d b e t w e e n t h e b e h a v i o r s , f a v o r s

s e l e c t i o n o f a s e q u e n c e o f b e h a v i o r s t h a t c a n t r a n s f o r m t h e c u r r e n t s t a t e o f t h e e n v i r o n m e n t t o

a g o a l s t a t e . T h i s s e q u e n c e i s , h o w e v e r , n o t d e t e r m i n e d o n c e a n d f o r a l l a n d t h e n f o l l o w e d a s

i n t r a d i t i o n a l A I p l a n n e r s . U n l i k e t r a d i t i o n a l p l a n n e r s , t h i s s y s t e m d o e s n o t h a v e a n e x p l i c i t

r e p r e s e n t a t i o n o f p l a n s , n e i t h e r d o e s i t i m p l e m e n t a s p e c i c s e a r c h a l g o r i t h m t o c o n s t r u c t

p l a n s . R a t h e r t h e s y s t e m e m e r g e n t l y c h o o s e s a n d p e r f o r m s t h e n e x t s t e p o f t h e s e q u e n c e ,

w h i c h i s i n u e n c e d n o t o n l y b y t h e s y s t e m g o a l s b u t a l s o t h e s t a t e o f t h e e n v i r o n m e n t a t

e a c h s t e p . T h e s e l e c t e d a c t i o n s c o r r e s p o n d t o s y s t e m s u b g o a l s w h i c h b r i n g t h e s y s t e m c l o s e r

t o o n e o f i t s g o a l s . T h i s d o e s , n o t i m p l y t h a t t h e s y s t e m w i l l n o t u c t u a t e b e t w e e n d i e r e n t

g o a l s . T h e s y s t e m i s d e s i g n e d t o b e s i t u a t i o n d r i v e n a s w e l l a s g o a l o r i e n t e d , s o t h e s y s t e m

w i l l b e o p p o r t u n i s t i c a n d c h o o s e t h e s h o r t e s t s e q u e n c e o f a c t i o n s t h a t c a n b r i n g t h e s y s t e m i n

a g o a l s t a t e . T h e s y s t e m ' s s e n s i t i v i t y t o w a r d s g o a l s a n d t h e c u r r e n t s t a t e o f t h e e n v i r o n m e n t

1 7


18/49

STATE

put-down-sandersand-board

put-down-sprayerpick-up-sander

GOALS

Activation exchange

I

F

BB

B

STATE

Inhibition/removal of activation

Forward activation spreading

Backward activation spreading

I

F

B

F i g u r e 1 0 : E x a m p l e o f a n a c t i v a t i o n n e t w o r k . A d a p t e d f r o m 3 4 ] .

c a n b e i n u e n c e d b y t h e r a t i o o f t o . R e c a l l t h a t i s t h e a m o u n t o f a c t i v a t i o n e n e r g y

i n j e c t e d i n t o t h e n e t w o r k b y a g o a l a n d i s t h e a m o u n t o f a c t i v a t i o n e n e r g y i n j e c t e d b y s t a t e

p r o p o s i t i o n s . T h u s a n i n c r e a s e i n m a k e s t h e s y s t e m m o r e g o a l o r i e n t e d a n d v i c e - v e r s a ,

f u r t h e r a n i n c r e a s e i n m a k e s t h e s y s t e m m o r e s e n s i t i v e t o t h e c u r r e n t s t a t e a n d v i c e - v e r s a .

T h e r e a r e n o c l e a r g u i d e l i n e s f o r c h o o s i n g t h e s e p a r a m e t e r s , t h e y d e p e n d o n t h e p r o b l e m ,

s p e c i c a c t i v a t i o n n e t w o r k a n d i t s s i z e e t c .

T h i s p a r t i c u l a r a p p r o a c h h a s b e e n a p p l i e d t o s i m u l a t e d p r o b l e m s a n d h a s n o t b e e n e v a l -

u a t e d o n r e a l - w o r l d s c e n a r i o s , w h i c h c o u l d h e l p d i s c o v e r i t s s t r e n g t h s a n d l i m i t a t i o n s . O n e

s h o r t c o m i n g o f t h i s a p p r o a c h m i g h t b e t h a t t h e s t a t e o f t h e e n v i r o n m e n t i n s y s t e m s d o n o t

i n c l u d e a n y u n c e r t a i n t y t h u s t h e s y s t e m a s s u m e s p e r f e c t s e n s o r s e t c . H o w e v e r , d u e t o i t s

d i s t r i b u t e d n a t u r e t h e s y s t e m i s f a u l t - t o l e r a n t s i n c e t h e f a i l u r e o f a s i n g l e m o d u l e / b e h a v i o r

d o e s n o t n e c e s s a r i l y l e a d t o t h e f a i l u r e o f t h e e n t i r e s y s t e m .

9 V o t i n g b a s e d c o m m a n d f u s i o n

9 . 1 D A M N R o s e n b l a t t & P a y t o n 8 9 - 9 6 ]

D A M N i s a D i s t r i b u t e d A r c h i t e c t u r e f o r M o b i l e N a v i g a t i o n 5 3 ] , w h i c h c o n s i s t s o f a s e t o f

b e h a v i o r s , t h a t p u r s u e t h e s y s t e m g o a l s b a s e d o n t h e c u r r e n t s t a t e o f t h e e n v i r o n m e n t . E a c h

b e h a v i o r v o t e s f o r o r a g a i n s t t h e s e t o f a c t i o n s c o n s t i t u t i n g t h e p o s s i b l e s e t o f a c t i o n s o f t h e

a g e n t . B e h a v i o r v o t e s r e p r e s e n t e a c h b e h a v i o r ' s p r e f e r e n c e o v e r t h e s e t o f p o s s i b l e a c t i o n s .

T h e n a ` v o t e r ' s e l e c t s t h e ` b e s t ' a c t i o n , w h i c h i s c h o s e n a s t h e a c t i o n w i t h t h e m a x i m u m

w e i g h t e d s u m o f t h e r e c e i v e d v o t e s . T h e a r c h i t e c t u r e i s s k e t c h e d i n g u r e 1 1 . E a c h b e h a v i o r

i s a s s i g n e d a w e i g h t b y t h e m o d e m a n a g e r . T h e s e w e i g h t s r e e c t t h e r e l a t i v e i m p o r t a n c e o r

p r i o r i t y o f t h e b e h a v i o r i n a g i v e n c o n t e x t . R o s e n b l a t t , h o w e v e r , d o e s n o t d e s c r i b e h o w t h e

m o d e m a n a g e r d e t e r m i n e s t h e w e i g h t s .

N o t e t h a t a b e h a v i o r c a n b e a r e a c t i v e b e h a v i o r a s w e l l a s a p l a n n i n g m o d u l e . I n t h i s w a y

n o t o n l y o n e b e h a v i o r b u t s e v e r a l b e h a v i o r s c o n t r o l t h e c o u r s e o f a c t i o n s s o t h a t t h e s y s t e m

c a n s i m u l t a n e o u s l y a t t e n d t o s e v e r a l g o a l s / s u b g o a l s a n d c o n s t r a i n t s o f m u l t i p l e i n d e p e n d e n t

b e h a v i o r s . T h e p r e f e r e n c e c o m b i n a t i o n a l g o r i t h m i m p l e m e n t e d b y t h e ` v o t e r ' i s a d - h o c a n d

t h e i n v e n t o r s o f D A M N r e a l i z e t h a t t h e r e i s a n e e d f o r a v o t i n g s c h e m e w i t h w e l l d e n e d

1 8


19/49

s e m a n t i c s a n d a p r e d i c t a b l e b e h a v i o r . B e i n g h i g h l y d i s t r i b u t e d , D A M N i s t o l e r a n t t o m a n y

f a i l u r e s , h o w e v e r , t h e ` v o t e r ' i n t r o d u c e s a s i n g l e p o i n t o f f a i l u r e .

T h e m e c h a n i s m ( s ) f o r d e l i b e r a t i o n a n d p u r p o s i v e g o a l a c h i e v e m e n t i n D A M N o p e r a t e s

n o d i e r e n t t h a n a l l o t h e r c o m p o n e n t s o f t h e s y s t e m . L i k e o t h e r s y s t e m c o m p o n e n t s t h e

d e l i b e r a t i v e c o m p o n e n t s d e c l a r e t h e i r p r e f e r e n c e s b y v o t i n g f o r o r a g a i n s t t h e s e t o f p o s s i b l e

a c t i o n s . I n t h i s w a y t h e p r e f e r e n c e s o f t h e d e l i b e r a t i v e m o d u l e s b i a s , r a t h e r t h a n d i c t a t e ,

t h e c o u r s e o f a c t i o n s t o w a r d s a p l a n t h a t c a n l e a d t o a g o a l s t a t e . T h u s t h e s y s t e m i s n o t

r e s t r i c t e d b y a n y h i e r a r c h i c a l c o n s t r a i n t s , w h e r e h o m o g e n e o u s m o d u l e s a r e l a y e r e d i n t h e

s a m e l a y e r . R a t h e r a l l m o d u l e s , h o m o g e n e o u s a s w e l l a s h e t e r o g e n e o u s , c o m m u n i c a t e t h e i r

i n t e n t i o n s u s i n g a c o m m o n i n t e r f a c e . T h i s a r c h i t e c t u r e t a k e s t h e p o s i t i o n , i n t r o d u c e d b y 1 ] ,

t h a t p l a n s s h o u l d b e v i e w e d a s r e s o u r c e s l i k e a n y o t h e r r e s o u r c e , d e n o t e d t h e p l a n - a s - r e s o u r c e

v i e w , r a t h e r t h a n b e i n g i n t e r p r e t e d a s s t r i c t p r o g r a m s t h a t s h o u l d b e f o l l o w e d w o r d t o w o r d ,

d e n o t e d a s p l a n - a s - p r o g r a m

Controller

Vehicle

Behavior 1

Behavior 2

Behavior n

Mode

weights

commands

Votes ArbiterDAMN

Manager

F i g u r e 1 1 : T h e D i s t r i b u t e d A r c h i t e c t u r e f o r M o b i l e N a v i g a t i o n . A d a p t e d f r o m 5 3 ] .

T h e a d v a n t a g e s o f p r e f e r e n t i a l b e h a v i o r s a r e d e m o n s t r a t e d i n 4 4 ] , w h e r e i t i s a r g u e d t h a t

p r e f e r e n t i a l o u t p u t s d e c r e a s e t h e l o s s o f i n f o r m a t i o n a n d s e r v e a s u i t a b l e i n t e r f a c e b e t w e e n

b e h a v i o r s r e g a r d l e s s o f t h e i r l e v e l o f p l a n n i n g . F u r t h e r i n 4 3 ] t h e a u t h o r s d e m o n s t r a t e t h a t

t h i s l e v e l o f a b s t r a c t i o n i s w e l l s u i t e d f o r i n t e g r a t i o n o f h i g h - l e v e l d e l i b e r a t i v e p l a n n e r s w i t h

l o w - l e v e l r e a c t i v e b e h a v i o r s .

D A M N h a s b e e n s u c c e s s f u l l y a p p l i e d t o i n - d o o r a s w e l l a s o u t - d o o r r e a l - w o r l d a p p l i c a t i o n s

s u c h a s t h e o u t - d o o r C M U N a v l a b v e h i c l e s , a n d i n d o o r r e a l a n d s i m u l a t e d r o b o t s a t t h e

H u g h e s R e s e a r c h L a b s . I n 5 3 ] t h e D A M N a r c h i t e c t u r e i s u s e d f o r c o n t r o l o f t h e h e a d i n g a n d

s p e e d c o n t r o l v a r i a b l e s o f a m o b i l e r o b o t a n d i n 5 4 ] t h e t e c h n i q u e i s u s e d f o r c h o o s i n g t h e

l e d o f v i e w f o r a m o t o r i z e d c a m e r a h e a d . F u r t h e r , 6 9 ] i n v e s t i g a t e s a n d c o m p a r e s a n u m b e r

o f A S M s , i n c l u d i n g D A M N a n d M a e s ' A c t i v a t i o n N e t w o r k s , i n a s i m u l a t e d e n v i r o n m e n t .

T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t D A M N i s s u p e r i o r t o t h e o t h e r A S M s i t i s c o m p a r e d t o .

9 . 2 S A M B A - A c t i o n m a p s a p p r o a c h R i e k k i & R o n i n g 9 6 ]

T h e a c t i o n s e l e c t i o n m e c h a n i s m p r o p o s e d i n 5 2 ] i s l a r g e l y i n u e n c e d b y t h e i d e a s p u t f o r w a r d

b y P a y t o n a n d R o s e n b l a t t i n c o n j u n c t i o n w i t h t h e D A M N a r c h i t e c t u r e . T h e w o r k i n 5 2 ]

1 9


20/49

i s s e e n a s a n e l a b o r a t i o n o f a n d a n a t t e m p t t o s y s t e m a t i z e t h e w o r k d o n e b y P a y t o n a n d

R o s e n b l a t t .

0.6

0.8

1

0.4

0.2

0

-20 -10 100 20

0.6

0.8

1

0.4

0.2

0

-20 -10 100 20

-20 -10 100 20 -20 -10 100 20

-0.2

-0.4

-0.6

-0.8

-1

-0.6

-0.8

-0.4

-0.2

00

-1

DontGoto DontAvoid

AvoidGoto

weight

weight

weight

weight

heading angleheading angle

F i g u r e 1 2 : T w o - d i m e n s i o n a l p r i m i t i v e a c t i o n m a p t y p e s .

I n t h i s w o r k , p r i m i t i v e b e h a v i o r s p r o d u c e r e a c t i o n s i n f o r m o f p r i m i t i v e a c t i o n m a p s . A n

a c t i o n m a p s p e c i e s p r e f e r e n c e s f o r e a c h p o s s i b l e a c t i o n , m u c h l i k e i n t h e D A M N a r c h i t e c t u r e .

H o w e v e r , b e h a v i o r o u t p u t s a r e g e n e r a t e d f r o m f o u r p r i m i t i v e a c t i o n m a p t y p e s a s s e e n i n

g u r e 1 2 . I n g u r e 1 2 p r e f e r e n c e s a r e d e s c r i b e d f o r e a c h h e a d i n g a n g l e , h o w e v e r , i n g e n e r a l

a c t i o n m a p s c a n b e d e n e d o n m u l t i - d i m e n s i o n a l c o n t r o l p a r a m e t e r s . T h e a c t i o n m a p s

g e n e r a t e d b y t h e b e h a v i o r s a r e f o r w a r d e d t o a c o m m a n d a r b i t e r t h a t c o m b i n e s t h e m a p s b y

m u l t i p l y i n g e a c h m a p b y a g a i n a n d t h e n a d d i n g t h e r e s u l t i n g m a p v a l u e s . T h e g a i n f o r e a c h

m a p i n d i c a t e s t h e i m p o r t a n c e o f t h a t m a p ( o r b e h a v i o r ) i n t h e c u r r e n t s i t u a t i o n . T h e g a i n

v a l u e s a r e d e t e r m i n e d d y n a m i c a l l y b a s e d o n t h e s t a t e o f t h e e n v i r o n m e n t .

T h i s w o r k g e n e r a l i z e s t h e i d e a o f p r e f e r e n t i a l b e h a v i o r o u t p u t s f r o m o n e d i m e n s i o n a l

a c t i o n s p a c e s t o a c t i o n s p a c e s o f a r b i t r a r y d i m e n s i o n . H o w e v e r , f r o m t h e p o i n t o f v i e w o f

b e h a v i o r d e s i g n a n d c o m m a n d f u s i o n a n d a c t i o n s e l e c t i o n t h i s a p p r o a c h , l i k e t h e a p p r o a c h

i n D A M N , i s b a s e d o n h e u r i s t i c s .

9 . 3 A c t i o n V o t i n g H o & B e k e y 9 5 ]

A n a r t i c i a l n e u r a l n e t w o r k a r c h i t e c t u r e i s p r o p o s e d i n 1 8 ] , w h e r e t h e e m p h a s i z e i s p l a c e d o n

m a k i n g t h e a c t i o n s e l e c t i o n m e c h a n i s m a d a p t i v e t o s h o r t - a n d l o n g - t e r m e n v i r o n m e n t a l a n d

g o a l c h a n g e s . I n e a c h p e r c e p t i o n - a c t i o n c y c l e e a c h b e h a v i o r v o t e s f o r o n e a c t i o n s u i t a b l e f r o m

i t s p o i n t o f v i e w . B e h a v i o r p r i o r i t i e s a r e m o d e l e d b y a d d i n g t o t h e a c t i o n v o t e s a p o s i t i v e

b i a s v a l u e . F u r t h e r , b e h a v i o r s c o m p e t e b y i n h i b i t i n g c o n i c t i n g a c t i o n s w h i c h e s s e n t i a l l y

c o r r e s p o n d s t o v o t i n g a g a i n s t u n d e s i r e d a c t i o n s . I n h i b i t i o n i s m o d e l e d a s a n o n l i n e a r f u n c t i o n

o f t h e s t r e n g t h o f a b e h a v i o r ' s a c t i o n v o t e a n d t h e i n h i b i t i o n v a l u e f o r t h e d e s i r e d a c t i o n i s

s e t t o 0 ( i . e . , n o i n h i b i t i o n ) . T h e v o t e s a n d i n h i b i t i o n v a l u e s r e c e i v e d f r o m e a c h b e h a v i o r

2 0


21/49

a r e s u m m e d f o r e a c h a c t i o n a n d t h e a c t i o n w i t h t h e h i g h e s t v a l u e i s t h e n s e l e c t e d . I n 1 8 ]

e a c h b e h a v i o r i s i m p l e m e n t e d b y a n e u r a l n e t w o r k a s e x p l a i n e d i n 1 4 ] , h o w e v e r , t h i s h a s n o

i n u e n c e o n t h e i r p r o p o s e d a c t i o n s e l e c t i o n m e c h a n i s m .

T h e m a i n a d v a n t a g e o f t h i s a p p r o a c h l i e s i n i t s a b i l i t y t o a d a p t i v e l y e s t i m a t e e a c h b e h a v -

i o r ' s i n h i b i t i o n f u n c t i o n b a s e d o n f e e d b a c k f r o m e a c h b e h a v i o r ' s p e r f o r m a n c e . I n a n u t s h e l l

a b e h a v i o r ' s i n h i b i t i o n f u n c t i o n i s a d j u s t e d a c c o r d i n g t o t h e f o l l o w i n g r u l e s :

W h e n a b e h a v i o r i s n o t p e r f o r m i n g w e l l a n d i t s c u r r e n t s u g g e s t e d a c t i o n i s n o t s e l e c t e d

t h e n i t s i n h i b i t i o n f u n c t i o n i s a m p l i e d t o a l l o w t h e b e h a v i o r t o c o m p e t e a n d w i n .

W h e n t h e b e h a v i o r ' s s u g g e s t e d a c t i o n i s s e l e c t e d a n d a n o t h e r b e h a v i o r s u e r s , t h e n t h e

b e h a v i o r ' s i n h i b i t i o n f u n c t i o n i s d a m p e d t o g i v e ` l o o s i n g ' b e h a v i o r s a c h a n c e t o w i n .

T h e m a i n r e s u l t s o f t h i s a p p r o a c h a r e t h a t h e r e i t i s d e m o n s t r a t e d h o w t h e b e h a v i o r

i n h i b i t i o n f u n c t i o n ( c o r r e s p o n d i n g t o w e i g h t s i n D A M N ) c a n b e l e a r n e d . F o r d e t a i l o n h o w

t h e i n h i b i t i o n f u n c t i o n i s u p d a t e d s e e 1 8 ] .

1 0 F u z z y c o m m a n d f u s i o n

I n f u z z y b e h a v i o r - b a s e d c o n t r o l , e a c h b e h a v i o r i s s y n t h e s i z e d b y a r u l e - b a s e c o n t r o l l e d b y a n

i n f e r e n c e e n g i n e t o p r o d u c e a m u l t i v a l u e d o u t p u t . F i g u r e 1 3 , i l l u s t r a t e s a s i m p l e e x a m p l e

d e s c r i b i n g a c o l l i s i o n a v o i d a n c e b e h a v i o r u s i n g o n l y t w o r u l e s . O n e r u l e r e c o m m e n d s ( e x -

p r e s s e s t h e d e s i r e ) t o t u r n a w a y f r o m a c l o s e o b s t a c l e a n d t h e o t h e r s u g g e s t s t o m o v e s t r a i g h t

f o r w a r d i f t h e o b s t a c l e i s a t a s a f e d i s t a n c e . U s i n g s t a n d a r d f u z z y i n f e r e n c i n g , e . g . , m a x - p r o d

i n t h i s e x a m p l e , t h e r u l e s a r e c o m b i n e d i n t o a m u l t i v a l u e d o u t p u t t h a t e n c o d e s t h e ( g r a d e

o f ) d e s i r a b i l i t y o f e a c h a c t i o n f r o m t h e b e h a v i o r ' s p o i n t o f v i e w .

B e h a v i o r s t h a t c o m p e t e f o r t h e c o n t r o l o f t h e r o b o t m u s t b e c o o r d i n a t e d t o r e s o l v e p o t e n -

t i a l c o n i c t s . F u z z y b e h a v i o r c o o r d i n a t i o n i s p e r f o r m e d b y c o m b i n i n g t h e f u z z y o u t p u t s o f

t h e b e h a v i o r s u s i n g a n a p p r o p r i a t e o p e r a t o r s u c h a s a t r i a n g u l a r c o n o r m ( w h i c h c o r r e s p o n d s

t o t h e f u z z y s e t u n i o n ) , e . g . , t h e m a x o p e r a t o r . T h e n d e f u z z i c a t i o n ( e . g . , c e n t e r o f g r a v i t y ,

C O G ) i s u s e d t o s e l e c t a n a l c r i s p a c t i o n u l t i m a t e l y u s e d f o r c o n t r o l ( s e e 5 6 ] ) . T h i s s c h e m e

s h o u l d l e a d t o t h e s e l e c t i o n o f a n a c t i o n t h a t s o m e h o w r e p r e s e n t s t h e c o n s e n s u s a m o n g t h e

b e h a v i o r s a n d t h u s c o m p r i s e s t h e a c t i o n t h a t b e s t s a t i s e s t h e d e c i s i o n o b j e c t i v e s t h a t t h e y

e n c o d e . H o w e v e r , i n s i t u a t i o n s w h e r e t h e r e i s c o n i c t b e t w e e n t h e a c t i v e b e h a v i o r s , t h i s

a p p r o a c h l e a d s t o i n a p p r o p r i a t e r e s u l t s . O n e a p p r o a c h t o d e a l i n g w i t h c o n i c t s i s b a s e d

o n c o n t e x t - d e p e n d e n t b l e n d i n g 5 6 ] , w h e r e c o n t e x t d e p e n d e n c e i s e n c o d e d u s i n g a n u m b e r o f

f u z z y m e t a r u l e s s u c h a s :

I F o b s t a c l e i s c l o s e T H E N a v o i d c o l l i s i o n s

I F N O T ( o b s t a c l e i s c l o s e ) T H E N f o l l o w t a r g e t

I f t h e r o b o t i s c l o s e t o a n o b s t a c l e , t h e n t h e c o n t r i b u t i o n f r o m t h e c o l l i s i o n a v o i d -

a n c e w i l l b e h i g h e r t h a n t h e c o n t r i b u t i o n f r o m t a r g e t f o l l o w i n g . T h i s c o r r e s p o n d s

t o w e i g h t e d d e c i s i o n m a k i n g , w h e r e t h e w e i g h t v a l u e s a r e d e t e r m i n e d b y t h e t r u t h

v a l u e s o f t h e r u l e a n t e c e d e n t s a n d i s u s e d t o s c a l e t h e b e h a v i o r s ' f u z z y o u t p u t s a c -

c o r d i n g l y . A n o t h e r a p p r o a c h , u s e d i n t h e S a p h i r a a r c h i t e c t u r e 2 2 ] , i s t o r e s o l v e

c o n i c t s b y a l l o w i n g h i g h e r p r i o r i t y b e h a v i o r s t o s u p p r e s s / d o m i n a t e b e h a v i o r s w i t h

l o w e r p r i o r i t i e s . T h e s e a p p r o a c h e s p r o v i d e p a r t i a l s o l u t i o n s t o r e s o l v i n g c o n i c t b e -

t w e e n b e h a v i o r s i n s p e c i c s i t u a t i o n s a n d s y s t e m s .

2 1


22/49

close

behavior coordination mechanisms

Documents