artificial creature: rityrit.kaist.ac.kr/home/ee788ln?action=attachfile&do=... · 5.3 evolving...

Artificial Creature: RITY

EE788 Robot Cognition and Planning, Prof. J.-H. Kim

11Robot Intelligence Technology Lab.

1. Introduction

2. 인문학에서의 감정 연구3. 공학에서의 감정연구

Emotional Creature Projects

Contents


4. Emotional Creature Projects

5. Emotional Model

6. Interactive Training

7. Artificial Creature, RITY: Design

3rd Generation1st Generation 2nd Generation 4th Generation 5th Generation

:: Next Generation Robots (J.-H. Kim, Plenary Speech, IEEESymp. on CIRA, Finland, June 2005)

Google: ubiquitous robot and genetic robot

3

à U-Services

à NetworkedCalm Seamless Context-aware

à Manufacturing Automation

à Robust

Fast

Precise

à EdutainmentService

à Intelligence

HRI

Mobility

à The Origin of Artificial Species

à GenomeAdaptation:Evolution Learning

àHigh Quality LifeSymbiosis

à Bio-compatible

Bio-enabled

Bio-embedded

Industrial Robot Personal Robot Ubiquitous Robot Genetic Robot Bio Robot

1. Introduction

n Artificial creature: HW 및 SW 인공개체n 1 G 로봇

l 어려운 일을 대신해주는 존재l 산업 현장에서 조립, 운반 등의 목적으로 사용

n 2 G 로봇l 인간에게 다양한 서비스를 제공


l Home Automation과 연동된 개인용 로봇l Entertainment

- 감성을 채워주고 즐거움을 줌- 주변 환경과의 상호 작용을 통해 스스로 성장- 다양한 자율 기능- 감정 모델- 다양한 학습 기능

1. Introduction

n 3 G 로봇l Sobot

- IT device interface

- for natural interaction with its emotion and motivation

- Cyber entity for CPRS


- Game- 고유한 성격, 감정과 개성을 가진 캐릭터- 육성 시뮬레이션 게임, 가상 애완 동물 게임

- 3D Animation- 가상 배우- 군중 효과

2. 인문학에서 감정 연구n 감정연구

l 감정에 대한 연구: 심리학, 신경생리학, 행동학 등l 공학적인 관점에서 사람과 로봇의 상호작용을 구현하기

위해 감정과 관련하여 많은 연구가 진행되고 있음.

n 애로사항l 인문학에서의 Emotion에 대한 연구 결과를 수학적으로


l 인문학에서의 Emotion에 대한 연구 결과를 수학적으로표현하여, 공학적인 용도로 사용하기에 어려움.

l 객관적이고 모델링이 용이한 접근 방법을 이용해야 함.

n 감성 공학 (Human Sensitivity Engineering)l 인간의 감성을 정성, 정량적으로 측정 평가하고 이를

제품이나 환경 설계에 응용하여, 인간의 삶을 쾌적하게하고자 하는 기술

l 건축, 제품 디자인 등에 이용

2. 인문학에서 감정 연구

n 감정 분류의 필요성l 감정이 명확하게, 객관적으로 분류될 수 있다는 것에도

많은 논쟁이 되고 있는 실정.l 공학적 이용을 위해서 대부분의 연구가 분류 가능하다는

가정 하에서 연구를 수행.


n 이용시의 문제점l 감정은 어느 정도 객관적으로 분류가 가능한가?l 가능하다고 할 때 각각의 모든 감정은 정해져 있는가?

- 기본 감정에서 파생이 가능한가?l 기본 감정들은 어떤 것들이 있을 수 있는가?


n Tomkins (’62) l 8개의 기본 감정: 두려움(fear), 화남(anger), 고통(anguish), 기쁨(joy),

혐오(disgust), 놀람(surprise), 흥미(interest), 부끄러움(shame)- Tomkins S., Affect, Imagery, Consciousness Springer Publishing Company,

New York, 1962.

n Plutchik (’80)l 8개의 기본 감정: 두려움(fear), 화남(anger), 슬픔(sorrow), 기쁨(joy),


l 8개의 기본 감정: 두려움(fear), 화남(anger), 슬픔(sorrow), 기쁨(joy), 혐오(disgust),수용(acceptance), 기대(anticipation)- R. Pultchik, "A general psychoevolutionary theory of emotion," Emotion Theory,

Research and Experience, Vol. 1, Academic Press, 1980.

n Ortony, Clore, and Collins (’88)l 4개의 기본 감정: 두려움(fear), 화남(anger), 슬픔(sadness), 기쁨(joy)l 2개의 파생 추가 감정: 혐오(disgust)와 놀람(surprise)

- A. Ortony, G. L. Clore, and A. Collins, "The Cognitive Structure of Emotions,” Cambridge University Press, Cambridge, MA, 1988.


n 몇 개의 기본 감정으로 하나씩 분류하는 대신에 감정을 연속적인차원의 공간으로 표현

n 2차원 또는 3차원 공간내의 위치로서 감정을 표현l 감정 공간에서의 위치가 정해진 감정 영역에 포함이 되지

않더라도 가장 가까운 감정 영역의 감정으로 간주- 2차원: Arousal, Valence - 3차원: Arousal, Valence, Stance


- 3차원: Arousal, Valence, StanceH. Schlosberg, “Three dimensions of emotion,” Psychological Review, 61(2), pp. 81-88, 1954

3. 공학에서의 감정 연구

n 감정 생성에 관한 연구l 인문학의 연구 결과를 공학적으로 사용하기에는 아직 무리l 다양한 접근 방법 중 객관적이고, 모델링이 용이한 방법 사용

- 감정 상태- 감정 공간


- 감정 공간- 감정을 계층화


1. 감정 상태로 나누어 구현- 각각의 State로 개별 감정을 모델링- 불연속적으로 감정이 변하나 2차, 복합 감정의 구현 가능- Juan D. Velasquez, “An Emotion-Based Approach to Robotics”,

Proceedings of IEEE International Conference on Intelligent


Robots and Systems, pp. 235-240, vol. 1, 1999

))(),(()1(

))(),(()1())(),(()1(

222

111

tutxftx

tutxftxtutxftx

nnn =+

=+=+

M


2. 감정 공간을 정의하여 감정을 매핑- 감정 인자 값을 조절 (stance, valence, arousal)- 연속적인 감정 변화는 가능하지만, 2차 감정(복합 감정)은 구현이

어렵다.- Cynthia Breazeal, “Robot in Society: Friend or Application?,”

Agents99 workshop on emotion-based agent architectures, pp. 18-26, 1999


1999

3. 공학에서의감정연구

- Hiroyasu Miwa et al., “Robot Personality based on the Equations of Emotion defined in the 3D Mental Space,” Proceedings of IEEE International Conference on Robotics and Automation, pp. 2602-2607, vol. 3, 2001


3. 공학에서의감정연구

3. 감정을 계층화- 감정을 세분화, 계층화 (emotion, mood, feeling)- 감정의 종류보다는 감정의 계층, 감정의 양에 중점- 복잡한 감정 구현의 어려움- Naoyuki Kubota et al., “Evolving Pet Robot with Emotional

Model,” Proceedings of IEEE Congress on Evolutionary Computation, pp. 1231-1237, vol. 2, 2000


Computation, pp. 1231-1237, vol. 2, 2000


- 즉흥적인 Emotion

- 감정의 기반이 되는 Mood

- Emotion과 Mood의 결과인 Feeling

å

å-

=

-

=

--+-×= 1

0

1

0i)}1(Mood)1(Emotion(

)(Mood a

i

i

ai inn

na

ga


å

å-

=

-

=

--+-×= 1

0

1

0i)}1(Mood)1(Emotion(

)(Mood a

i

i

ai inn

na

ga

)(Mood)(Emotion)1(Feeling )( '

nnt tt +=+ -b

4.1 Emotional Creature Projects

n Artificial emotional creature project (Shibata, ’99) l Tactile sensor with synthetic skinl CCD cameral Stereo microphonel Tail with 1 D.O.F.l Mobile robot with 3 wheels

T. Shibata et al., “Interpretation in Physical Interaction between Human and Artificial Emotional Creature,” Proc. of IEEE International Workshop on Robot and Human Interaction, pp. 29-34, 19


Creature,” Proc. of IEEE International Workshop on Robot and Human Interaction, pp. 29-34, 19

n Sensor-motor control algorithm

n Interaction between human and artifact

4.1 Emotional Creature projects


n Psychological Experiment

4.1 Emotional Creature projects


l Impression of wagging were subjective

l Subject had stroked with the similar frequency of wagging

- Resonance, coupling between human and robot

n Emotional creatures

4.1 Emotional Creature project


l Two servo motors

l Three clutch bearings

l Two whistler for contact sensing

l Two pressure sensors

l Neural oscillator for leg motion

l Internal state was input to a neuron

l Two tactile sensors, two servos on back and head

l Three micro switch on chin and cheek

l Eight actuators

l It has some patterns and states of emotion

l It recognizes words and detects the direction of sound

n Pet robot의 일반적인 요구 사항l Physiognomic effect: Nursing instinct

- Narrow forehead and short face- Less-projected chin- Awkward movement of limb

l Emotional model- Internal state

4.2 Animal-like and Friendly Impression on Artifacts


- Internal state- No general principle

l Communication and interaction - Nonverbal and implicit communication- Resonance between robots and human

l Learning- Difficult to implement

T. Nakata et al., “Producing animal-likeness on artifacts and analyzing its effect on human behavioral attitudes,” Proc. of IEEE/RSJ Int’l Conf. on Intelligent Robots and Systems, vol. 1, 1999

n Animal-like and friendly impression (Nakata, Tokyo Univ., ’99)l A human being has a schema that describes common features of creaturel Eye placement, temperature, heartbeat, and respiration methods



n Object and subjective evaluations based on application field



5. Emotional Model

n Emotional model


l Many researches are based on biological and psychological studies

l Internal states are used to update emotion

l Fuzzy, neural network, and evolutionary computation

5.1 Human Emotion Model

n Human emotion model by Markov modeling theory

l Discontinuous models rather than continuous model can be used to

model emotion.

l A human jumps only from one discrete emotional state to another.

l Markov Modeling


- Node : emotion

- Arc : transition probability

- α : positive stimuli or experience

- β : negative stimuli or experience

A. Chandra, “A computational architecture to model human emotions,” Intelligent Information Systems, pp. 86 -89, 1997.

5.1 Human Emotion Model


5.2 Implementation of WAMOEBA-2

n Communication between behavior-based robots and humans l Two arms for gestures

l Two LCDs to indicate internal condition

l Two color CCD cameras

l Two microphones

Two touch panels (chest and head)


l Two touch panels (chest and head)

l Four ultrasonic sensors

l Eight tactile sensors

T. Ogata, S. Sugano, “ Emotional communication between humans and the autonomous robot which has the emotion model,” Proc. of IEEE Int’l Conf. on Robotics and Automation, pp. 3177–3182, vol. 4, 1999

n Model of internal secretion systeml The internal secretion system controls the entire state of the living

organism using hormones.

l Internal information

- Fuzzy set membership functions of battery voltage, driving current, eight positions of temperature, and circuit temperature



current, eight positions of temperature, and circuit temperature

- Seven kinds of ‘self preservation evaluation functions’ P that correspond to the eleven internal and external sensors

n Motor agentl The behavior should be described not at the level of task, but

at motor activity to generate the diversity of the behavior.

M : motor outputS : sensor valuea : activity of motor affected by hormone



a : activity of motor affected by hormone

n Pet robot “Rag Warrior”l LCD display

l Bump sensors, infrared sensors

l Light sensors, encoders

l Microphone

5.3 Evolving Pet Robot with Emotional Model


N. Kubota et al., “Evolving Pet Robot with Emotional Model, Proceedings of IEEE Congress on Evolutionary Computation, pp. 1231-1237, vol. 2, 2000


n Robotic system with structured intelligence based perception learning and behavior learning


n Emotional model l Emotion, mood, and feeling



n Perception learningl The robot translates the expression into internal description.l It performs the mapping between a symbolic term and internal

parameters including sensor information and actuator information.




n Behavioral learning l The pet robot moves on a potential field generated by adaptive fuzzy

neural network, when the owner gives a kind of input for inducing a trick.l Fuzzy rules updated by the teaching signals – the m-th output value of the

consequence of the l-th rule:


- τ : learning rate- S(p) : reinforcement signal- μ : membership function


l GA is used to optimize the fuzzy controller and path planning.l A candidate solution for a trick of the pet robot:


l By evolving these values of consequences, a trick is acquired through the evaluations by the owner.

n Creature kernel framework “Sydney K9.0”l Clicker training

- Easily discernable from other input- It provides a precise end of behavior

l Interaction interface



l Interaction interface - Wearable microphone, training stick,

milkbone box, and clicker

Song-Yee Yoon, Bruce M. Blumberg, “Motivation Driven Learning for Interactive Synthetic Characters,” Proceedings of Autonomous Agents, 2000


n Schematic diagram of a synthetic character


n 행동 선택에 대한 연구l Behavior based robotics 와 ethology를 이용하여 연구l 동기에 의한 행동 선택과 학습

- Bruce M. Blumberg, “Old Tricks, New Dogs: Ethology and Interactive Creatures,” Ph.D. Dissertation, MIT, 1996

- Ronald C. Arkin et al., “Ethological Modeling and Architecture for an Entertainment Robot,” Proceedings of



Architecture for an Entertainment Robot,” Proceedings of IEEE International Conference on Robotics and Automation, pp. 453-458, vol. 1, 2001

- Bates J., “The nature of character in interactive worlds and the oz project,” Technical Report CMU-CS-92-200, School of Computer Science, Carnegie Mellon University, 1992

n Motivation system l Drive system: hunger, curiosity, and fatigue l Affection system

n Behavior systeml Primary behavior system: a set of behavior nodes and sequences

- Composed of behavior units: walk, run, sit down, roll over… l Autonomous behavior system: reflex-like behavior



l Autonomous behavior system: reflex-like behavior

n Motor systeml Verb-adverb model

n Perception system l Virtual sensors and real sensorsl DogEar

- Converts the raw data to a Cepstral coefficient format

n Learningl Classifier and short-term memory is used.l Sydney can distinguish the clicker sound from utterances, due to

distinctive frequency



7. Artificial Creature, RITY: Design

1. Requirement and Implemented Architecture2. Perception3. Internal Status System4. Behavior System5. Focus Selector


Focus Selector6. Learning system:

1. Preference learning 2. Voice command learning

7. Inherent Behavior Logic8. Implementation9. Conclusion

III. 연구 내용 및 계획

Ø Cognitive architecture with 3 Layers and 12 modules to model the mechanism of thought and Robot/Human Robot Interactions

HRI

:: Intelligence Modeling

Cognitive Architecture

Exte

rnal

Env

ironm

ent Behavior

User command module

Motor module

Behavior Layer

HRI/RRI Layer

Learning module

Memory module

Robot command module

43

HRI

RRI

Sensor module

Exte

rnal

Env

ironm

ent

Attention module

Perception module

Context module

Decision making module

Reflexive behavior module

Task scheduling module

Behavior

selection

module

Internal state module

Motor module

Perception Layer

Reasoning Layer

Short-term

memory

Working memory

Long-term

memory

module

7.1 Requirements and Implemented Architecture

n Requirementsl Biological basis

l Emergent behavior

l Intelligence

l Adaptation and learning


n SW system specifications

l 센서 정보 종류 (47개) : - 구동 시작 및 자세/흔들림 정보 : DANDLED, SHORKED, LIFTED.. - 장애물 관련 정보 : OBSTACLE_EXIST, DISTANCE_NEAR… - 밝기 및 온도 정보 : SUDDEN_LIGHTNESS, SUDDEN_DARKNESS…- 쓰다듬음 및 때림 정보 : HEAD_PATTED, HEAD_HITTED… - 소리 정보 및 음성 종류 정보 : SOUND_NOISY, SOUND_NORMAL…- 물체 및 얼굴 정보 : OBJECT1_DETECTED, OBJECT1_CLOSE…- 배터리 정보 : BATTERY_LOW, BATTERY_NORMAL


l 행동 (73개): - 앉기, 웅크려 앉기, 뻗어 앉기, …- 앞으로 걷기, 뒤로 걷기, 왼쪽으로 걷기, 앞으로 뛰기, ...- 건드리기, 다가가기, 차기, 쫓기, …- 춤추기, 포효하기, 머리치기, …


- 춤추기, 포효하기, 머리치기, …- 소변보기, 기침하기, 눈 가리기, 자기, …

l 표정 (4개):-기쁨, 슬픔, 화남, 놀람

l 3D 가상 생명체, Rity: 12자유도 4족 형태

n 개발된 인공 생명체 구조l Windows의 OpenGL 3D 환경에서 가상 생명체를 구현l 내부 상태 변수 및 내부 구조를 file script로 받아들임

- 제작자의 의도에 따라 원하는 성격을 자유롭게 재구성 가능행동 set을 file script로 받아들임



l 행동 set을 file script로 받아들임- 행동의 추가가 용이

l 본능행동 file script를 받아들여 이용- 반사 행동 등의 본능행동이 수행

l 다양한 행동이 발현되도록 확률 행동 선택 방식을 이용

),S(update),S(update

)S( else}

)E,(

)H,M(

),S(H

),S(E

),S(M { flag) Urgent ( if

)H,S( flagUrgent

)sensing External(S

'''

'''

''

''''''

'''

''

''

''

'

bWbW

fb

bfbf b

WfWfWf

ff

E

MB

B

B

HH

EE

MM

u

S'

=

=

¢=

=

=

=

=

=

Ø

¢=

=



),S(update),S(update

)S( else}

)E,(

)H,M(

),S(H

),S(E

),S(M { flag) Urgent ( if

)H,S( flagUrgent

)sensing External(S

'''

'''

''

''''''

'''

''

''

''

'

bWbW

fb

bfbf b

WfWfWf

ff

E

MB

B

B

HH

EE

MM

u

S'

=

=

¢=

=

=

=

=

=

Ø

¢=

=

7.2 Perception

n Perception: 센서 정보를 의미 있는 정보로 변화시켜, 내부 상태 값과행동을 변화 시킴


n Symbolization system

l 센서 정보를 Boolean형의 자극 벡터 X로 바꾼다 (l은 심볼의 개수)

],,,[ 21 lT xxx L=X

l 순응

7.2 Perception

51

l 민감도 벡터 P는 0-1 사이의 값:

l 자극 벡터 X와 민감도 벡터 P를 이용하여 심볼 벡터 S를 구함.

Robot Intelligence Technology Lab.

],,,[ 21 lT ppp L=P

],,,[],,[ 212211 lllT ssspxpxpx LL ==S

n Perception 종류l 구동 시작 및 자세 흔들림 정보

- POWER_ON, SHAKEN, DANDLED, SHOCKED, LIFTED, FALLEN, CORRECT_POSTURE

l 장애물 관련 정보- OBSTACLE_EXIST, DISTANCE_NEAR, DISTANCE_MID, DISTANCE_FAR,

SUDDEN_APPEAR, SUDDEN_DISAPPEAR, CLIFF l 밝기 및 온도 정보

- SUDDEN_LIGHTNESS, SUDDEN_DARKNESS, GLARING, NORMAL, DARK, VERY_DARK, MILD, HOT, COLD

7.2 Perception


VERY_DARK, MILD, HOT, COLD l 쓰다듬음 및 때림 정보

- HEAD_PATTED, HEAD_HITTED, BODY_PATTED, BODY_HITTEDl 소리 정보 및 음성 명령 정보

- SOUND_NOISY, SOUND_NORMAL, SOUND_CALM, SUDDEN_LOUD, SUDDEN_CALM, VOICE, VOICE_GOOD, VOICE_BAD, VOICE_HELLO_OR_BYE

l 물체 및 얼굴 정보- OBJECT1_DETECTED, OBJECT1_CLOSE OBJECT2_DETECTED,

OBJECT2_CLOSE, OBJECT3_DETECTED, OBJECT3_CLOSE, FACE_DETECTED, FACE_CLOSE

l 배터리 정보- BATTERY_LOW, BATTERY_NORMAL, BATTERY_FULL

n Selection of focus of attention: n개의 심볼들 중에서 현재 관심을 줄대상을 선정l 심볼의 우선 순위를 정하여 관심 대상의 잦은 변화 방지l 관심 대상에 어울리지 않는 행동을 차단시키는 신호 발생

7.2 Perception


대상관심선택된는값우선도의은 , )()](,),(),([ 21

fssprisprisprispriMAXf

ll

lL=

7.3 Internal State System

n Internal status system l Motivation: curiosity, intimacy, boredom, avoidance, possession, control

l Homeostasis: sleepiness, hunger, fatigue

l Emotion: happiness, sadness, anger, fear

l 각 state들의 값은 확률적인 행동 선택에서 고려된다.


(1) Motivation

n 행동을 선택하는데 주된 원인Ex) Curiosity, Intimacy, Boredom, Avoidance, Possession, Control

}))(({)()1(

}))(({)()1(

}))(({)()1(

222222

111111

Mi

Tiiiii

MT

MT

tmmtmtm

tmmtmtmtmmtmtm

WS

WSWS

×+-+=+

×+-+=+

×+-+=+

l

l

l

M


l i : 동기 상태의 개수l : S와, i번째 동기m(t)과의 weight. 선호도 학습으로 변화시킨다.l : 동기 변화 gain. 해당 욕구가 얼마나 오래 유지되는가?l : 동기의 평균값. 입력이 없을 경우 해당 상태가 수렴하는 값.

클수록 평소 해당 동기에 대한 욕구가 큼.

n 동기 상태 벡터 M:

MiW

ilim

)](,),(),([ 21 tmtmtm iT L=M

(2) Homeostasis

n 로봇의 생존을 위한 값Ex) Fatigue, Hunger, Sleepiness

}))(({)()1(

}))(({)()1(

}))(({)()1(

222222

111111

Hj

Tjjjjj

HT

HT

thhthth

thhthththhthth

WS

WSWS

×+-+=+

×+-+=+

×+-+=+

l

l

l

M


l j : 항상성 상태의 개수l : S와, j번째 항상성 h(t)와의 weight. 항상성은 학습되지 않는다.

l : 항상성 변화 gain. 해당 항상성이 얼마나 오래 유지되는가?

l : 항상성의 평균값. 입력이 없을 경우 해당 상태가 수렴하는 값.

n 항상성 상태 벡터 H:

}))(({)()1(

}))(({)()1(

}))(({)()1(

222222

111111

Hj

Tjjjjj

HT

HT

thhthth

thhthththhthth

WS

WSWS

×+-+=+

×+-+=+

×+-+=+

l

l

l

M

jh

HjW

jl

)](,),(),([ 21 ththth jT L=H

(3) Emotion

n 로봇의 감정 상태Ex) Happy, Sad, Anger, Fear

}))(({)()1(

}))(({)()1(

}))(({)()1(

222222

111111

Ek

Tkkkkk

ET

ET

teetete

teeteteteetete

WS

WSWS

×+-+=+

×+-+=+

×+-+=+

l

l

l

M


l k : 감정 상태의 개수l : S와 k번째 감정 e(t)와의 weight. 선호도 학습으로 값이 변한다.

l : 감정 변화 gain. 해당 감정이 얼마나 오래 유지되는가?

l : 감정의 평균값. 입력이 없을 경우 해당 상태가 수렴하는 값.

n 감정 상태 벡터 E:

}))(({)()1(

}))(({)()1(

}))(({)()1(

222222

111111

Ek

Tkkkkk

ET

ET

teetete

teeteteteetete

WS

WSWS

×+-+=+

×+-+=+

×+-+=+

l

l

l

M

EkW

kl

ke

)](,),(),([ 21 tetete kT L=E

7.4 Behavior System

n Internal status system의 상태에 따라서 확률적으로 행동을 선택n Motor module (actuator)에서 발생하는 end signal이나 focus selector와

본능 행동로직에서 발생하는 urgent flag에 의해 현재 수행 중인 행동이 종료


(1) Behavior selector

n 동기 벡터 M과 항상성 벡터 H를 이용하여 행동을 구하기 위한voting vector V를 구함.

Behavior Mask for Focus

Behavior Mask for Voice Command

Behavior Mask for Inherent Behavior

Internal Status System


Behavior Selector

n Voting vector V에 관심도, 음성 명령, 내재 행동에 따른 mask를 함.

n Mask후에 V값을 가지고 확률적으로 행동을 선택.


behaviors and sisn/homeostamotiviatiobetween matrix weight : / behavoirs. ofnumber :

where

,

with

],,,[

)(

: vector votingTemporary

HM

1

2221

11211

1

2221

11211

21

temp

DD

DD

DHDMV

V

HM

HM

n

dd

ddddd

dd

ddddd

vvv

HjnHj

HH

nHHH

MinMi

MM

nMMM

tempntemptemp

TTTtmep

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

=

+=

OM

M

L

OM

M

L

L


behaviors and sisn/homeostamotiviatiobetween matrix weight : / behavoirs. ofnumber :

where

,

with

],,,[

)(

: vector votingTemporary

HM

1

2221

11211

1

2221

11211

21

temp

DD

DD

DHDMV

V

HM

HM

n

dd

ddddd

dd

ddddd

vvv

HjnHj

HH

nHHH

MinMi

MM

nMMM

tempntemptemp

TTTtmep

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

=

+=

OM

M

L

OM

M

L

L

n Temporary voting vector에 내부 및 외부 영향을 고려한 mask matrices 도입l 내부 상태 + 외부 영향으로 행동을 선택l Vtemp + 관심 대상에 의한 mask + 음성 명령에 의한 mask + 감정에 의한

mask



1) 관심 대상 f 에 따른 n×n 차단 행렬 Qfocus :

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

)(000

)(000)(

)( 2

1

fq

fqfq

f

focusn

focus

focus

focus

L

OM

M

L

Q

2) 음성 명령 c에 따른 음성 명령 차단 행렬 Qvoice:

3) 감정 상태 e에 따른 감정 상태 차단 행렬 Qemotion:

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

)(000

)(000)(

)( 2

1

cq

cqcq

c

voicen

voice

voice

voice

L

OM

M

L

Q



n 세가지 차단 행렬을 고려하여 최종 투표값 V를 구함:

÷÷÷÷÷

ø

ö

ççççç

è

æ

=

)(000

)(000)(

)( 2

1

eq

eqeq

e

emotionn

emotion

emotion

emotion

L

OM

M

L

Q

],,,[

)()()(

21 n

emotionvoicefocusTtemp

T

vvvecf

L=

= QQQVV

n 투표값 V를 계산 한 후 행동이 발현될 확률 P를 계산하여이 확률에 따라 행동 선택

setbehavior : ,

1)(

where)](,),(),([

)()(

1

21

1

BBb

bp

bpbpbp

v

vbp

i

n

ii

nT

n

kk

ii

Î

=

=

=

å

å

=

=

LP



setbehavior : ,

1)(

where)](,),(),([

)()(

1

21

1

BBb

bp

bpbpbp

v

vbp

i

n

ii

nT

n

kk

ii

Î

=

=

=

å

å

=

=

LP

행동 집합(73개)



n 행동 전환의 원인l 행동 수행 종료 신호

- 모터 시스템에서 행동이 종료될 때 종료 신호를 보냄l 본능행동 논리의 비상 호출

- 벽이나 장애물 발견 시 행동의 즉각적인 전환

(2) 행동 전환


l 더 높은 우선도의 관심 대상 발견- 관심 선택기에서 차단값이 바뀌므로 행동도 바뀜

l 확률적인 전환- ‘쉬기’와 같이 종료 시간이 정해져 있지 않는 행동이

수행되고 있을 때 확률적으로 다음 행동으로 전환

7.5 Focus Selector

n 센서 정보를 분석하여, 현재의 관심 대상을 결정l 같은 센서 입력이 반복될 경우 관심대상에서 제외하는 기능

n 더 중요한 관심 대상이 발견되었을 경우, behavior system에 urgent signal 을보내어 적합한 행동을 즉시 취하게 함


Urgent signal To behavior system

7.6 Learning System

n Preference learning systeml 학습을 통해 어떤 대상에 대한 가상 생명체의 기호를 변화시키기l 심볼 벡터 S와 동기 벡터 M, 감정 벡터 E 사이의 weight matrix W의 값을 변화

(1) Preference learning


변화량의째번때의벌칙보상는와

감정과의째번에서시간는

weight ,

matrix weight k , )( where

,

withpenaltyon )(

rewardingon )()1(

2

1

2

1

lwwtt

w

ww

W

w

ww

W

tt

t

Epl

Erl

Ek

Epl

Ep

Ep

Epk

Erl

Er

Er

Erk

Epk

Ek

Erk

EkE

k

DD

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

îíì

D+D+

=+

W

WWWW

W

MM




감정과의째번에서시간는

weight ,

matrix weight k , )( where

,

withpenaltyon )(

rewardingon )()1(

2

1

2

1

lwwtt

w

ww

W

w

ww

W

tt

t

Epl

Erl

Ek

Epl

Ep

Ep

Epk

Erl

Er

Er

Erk

Epk

Ek

Erk

EkE

k

DD

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

îíì

D+D+

=+

W

WWWW

W

MM


동기와의째번에서시간는

weight ,

matrix weight i , )( where

,

withpenaltyon )(

rewardingon )()1(

2

1

2

1

lwwtt

w

ww

w

ww

tt

t

Mpl

Mrl

Mi

Mpl

Mp

Mp

Mpi

Mrl

Mr

Mr

Mri

Mpi

Mi

Mri

MiM

i

DD

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

îíì

D+D+

=+

W

WW

WWWW

W

MM




동기와의째번에서시간는

weight ,

matrix weight i , )( where

,

withpenaltyon )(

rewardingon )()1(

2

1

2

1

lwwtt

w

ww

w

ww

tt

t

Mpl

Mrl

Mi

Mpl

Mp

Mp

Mpi

Mrl

Mr

Mr

Mri

Mpi

Mi

Mri

MiM

i

DD

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

÷÷÷÷÷

ø

ö

ççççç

è

æ

D

DD

=D

îíì

D+D+

=+

W

WW

WWWW

W

MM

(2) Voice Command Learner

l 임의의 명령에 대해서 원하는 행동이 나올 수 있는 구조가 필요l 구현된 명령-행동 쌍에 음성 인식을 하는 구조l 애완 동물을 훈련시키는 듯한 상호작용을 통한 학습l 그러나 행동이 수십여 가지이므로 학습률의 문제학습률을 높이기 위해 비슷한 행동들 끼리 유사 행동 집합으로 구성



n 유사한 행동을 하는 행동들끼리 같은 유사 행동 집합Ba 로 구성

n 행동 집합 B의 부분집합으로 B 를 정의


집합으로 Ba를 정의

}_,__{ },,,{ Ex)

}|{)0(,

armsshakearmswithdanceBliecrunchsitstopB

BbbBaiBB

DANCE

SIT

a

i

==Î=

££Ì


C1

C2

B1

B2

변화량강도연결

와의유사행동집합와명령

상수인

: parameter, emotional : weight :)(

where

) 0( penaltyon

rewardingon

with)()1(

x

xa

x

xxaxa

Raxtw

CCC

R

Rtwtw

r

r

>îíì-+

=

+=+

Cx 와 Ba 사이의 연결강도를 강화학습


C3

C4

Cx

B3

B4

Ba

변화량강도연결

와의유사행동집합와명령

상수인

: parameter, emotional : weight :)(

where

) 0( penaltyon

rewardingon

with)()1(

x

xa

x

xxaxa

Raxtw

CCC

R

Rtwtw

r

r

>îíì-+

=

+=+

b1, b2, b3, ...


n 방금수행했던행동에는 α×W의포상을, 나머지에는 β×W의포상

단, α>β>0

행동번호나머지제외한행동을번째

번호행동유사번째속한행동이번째

번호행동수행된의해서에명령

: :

: where

iothersaia

ci

wqwq

xavoiceothers

xavoicei

b

a

=

=


행동번호나머지제외한행동을번째

번호행동유사번째속한행동이번째

번호행동수행된의해서에명령

: :

: where

iothersaia

ci

wqwq

xavoiceothers

xavoicei

b

a

=

=


÷÷÷÷÷

ø

ö

ççççç

è

æ

=

)(000

)(000)(

)(

:)(

2

1

cq

cqcq

c

cc

voicen

voice

voice

voice

voice

L

OM

M

L

Q

Q 행렬차단따른에명령음성

xavoiceothers

xavoicen

wqwqb

a

=

=

Behavior Mask for Focus

Behavior Mask for Voice Command

Behavior Mask for Inherent Behavior

Sensor History

State

Inherent Behavior

Logic

Internal Status System


÷÷÷÷÷

ø

ö

ççççç

è

æ

=

)(000

)(000)(

)(

:)(

2

1

cq

cqcq

c

cc

voicen

voice

voice

voice

voice

L

OM

M

L

Q

Q 행렬차단따른에명령음성

],,,[

)()()(

21 n

emotionvoicefocusTtemp

T

vvvecf

L=

= QQQVV

State History

Behavior SelectorEnd signal

Urgent flag

Actuator

7.7 Inherent Behavior Logic

n Inherent behavior logicl 반사 행동이나 항상성에 의해 발현되어야 할 행동을 수행


7.7 Inherent Behavior Logic

n 확률적인 행동 선택 방식을 보완n 부호화 과정을 거치지 않은 신속한 가상 생명체의 반사 행동에

이용Ex) 낭떠러지 같은 위험한 상황이 발생하면 적절한 반사 행동 수행


학습 및 본능 행동의 발현


7.8 Implementation

n 데이터 입력: g_sensor_data

n 행동 출력: g_behavior_num

n 표정 출력: g_express_num

n 내부 구조: Timer에 의해 0.2초에 1회씩 함수 수행


g_sensor_datag_behavior_num

g_express_num

Character()

로봇의 상태 변화

및 행동/표정 선택

Initialize()

실행초기에 1회 수행

end_flag

7.8 Implementation

개체

로봇

얼굴

§ RITY의 구현


실행속도조절

조명밝기조절

소리음성명령

로봇, 개체 좌표

디버그용 창

행동감정상태

개체내부상태그래프

7.8 Implementation

기쁨

슬픔


기쁨

평상심

공포

분노

7.8 Implementation

Object1 Object2


Object3 Face

7.8 Implementation

},,,

,,,,,,{},_,_,_

,_,,,,{

__

__

othersDANCERIGHTMOVELEFTMOVE

BACKWARDMOVEFORWARDMOVESTOPCOMESITSTANDUP

BBBBBBBBBBB

DANCERIGHTMOVELEFTMOVEBACKWARDMOVEFORWARDMOVESTOPCOMESITSTANDUPC

=

=

50 , 100 ),1000~0( uehappy val :

}_,_,_,__,{

}_,_,_{

}_,_,_{

}_,_{},{

},,,{},,{

}{

_

_

_

==

=

=

=

===

==

bar

headshakearmsshakeopenmoutharmswithdancehurrahBrightturnrightrunrightwalkB

leftturnleftrunleftwalkBbackwardwalkforwardwalkB

reststopBtouchkickapproachchaseB

liecrounchsitBstopB

DANCE

RIGHTMOVE

LEFTMOVE

FORWARDMOVE

STOP

COME

SIT

STANDUPwhere


50 , 100 ),1000~0( uehappy val :

}_,_,_,__,{

}_,_,_{

}_,_,_{

}_,_{},{

},,,{},,{

}{

_

_

_

==

=

=

=

===

==

bar

headshakearmsshakeopenmoutharmswithdancehurrahBrightturnrightrunrightwalkB

leftturnleftrunleftwalkBbackwardwalkforwardwalkB

reststopBtouchkickapproachchaseB

liecrounchsitBstopB

DANCE

RIGHTMOVE

LEFTMOVE

FORWARDMOVE

STOP

COME

SIT

STANDUP

7.8 Implementation


Happiness

×103 ×103

7.8 Implementation


HIGH

636 - 978

LOW

0-19

V1 : WMOVE_LEFT, MOVE_LEFT – desired one

V2 : WMOVE_LEFT, MOVE_RIGHT

V3 : WMOVE_LEFT, SIT

6 rewards, 3 penalties 33 rewards, 58 penalties

7.8 Implementation


7.9 Conclusions

n 동기, 항상성, 감정이 구현된 architecture

n 행동은 외부 입력과 내부 상태에 의해서 확률적으로선택되는 방법과 외부 입력에 따라 본능적으로 반드시일어나는 행동들을 확정적으로 구하는 방법을 혼용


일어나는 행동들을 확정적으로 구하는 방법을 혼용n 가상 생명체와 사용자가 상호 작용을 통해 많은 행동

중에서 원하는 행동을 훈련시킬 수 있는 학습 방법n 가상 공간에서의 구현

artificial creature: rityrit.kaist.ac.kr/home/ee788ln?action=attachfile&do=... · 5.3 evolving...

Documents