인간로봇상호용 연구실 ·콘텐츠연구소reel.hansung.ac.kr/shri/files/d5.2 행위...

년월일 문서번호 변경코드 파일/참고 페이지

2013.12.10 D5.2 1.0 16

작성자/소속 승인자

김재홍

문서관리자

박천수

검토

박천수/인간로봇상호작용연구실

제목 Title

행위계획엔진 설계서 Design Document of an Action Plan Engine

무단 전재/복사금지(ETRI Proprietary)

행위계획 엔진 설계서 5

10

15

인간로봇상호작용연구실

SW·콘텐츠연구소

20

년월일 문서번호 변경코드 파일 페이지

2013.12.10 12VC2110-01-

APE-DD0100

1.0 2


문서 정보

5

10

15

개정 이력

버전 개정일자 개정 내역 작성자 확인자

0.7 2012/12/06 초안 박천수 김재홍

0.9 2013/01/02 개정 박천수 김재홍

1.0 2013/01/11 동료검토 내역 수정 박천수 김재홍

1.1 2013/12/10 2차년도 설계사항 추가 박천수 김재홍

구 분 소속 성명 날짜 서명

작성자

인간로봇상호작용연구실 박천수 2013.12.06

검토자

QA검토자

승인자 인간로봇상호작용연구실 김재홍

버 전 Ver 1.1

발행일 2013.12.10

상 태


2013.12.10 12VC2110-01-

APE-DD0100

1.0 3


목 차 1. 문서 개요 .................................................................................................................................................................. 4

1.1 문서의 목적 ......................................................................................................................................................... 4

1.2 용어 (TERMINOLOGIES) 및 약어 (ABBREVIATIONS) ............................................................................................... 4

1.3 참고 문헌 ............................................................................................................................................................. 4 5

1.4 문서의 구성 및 내용 .......................................................................................................................................... 4

2. 행위계획 엔진 관련 연구 및 과제 활용............................................................................................................. 5

3. 행위계획 엔진 구조 ................................................................................................................................................ 7

4. 행위계획 엔진 모듈별 구조 및 기능 .................................................................................................................. 9

4.1 행위 계획 생성기(PLAN GENERATOR) .............................................................................................................. 11 10

4.2 목표 생성기(GOAL GENERATOR) ....................................................................................................................... 11

4.3 계획 경험 관리기(PLAN EXPERIENCE MANAGER) ............................................................................................ 11

4.4 행위계획 실행기(PLAN EXECUTION MANAGER) ............................................................................................... 11

4.5 행위계획 엔진 지식 베이스 ............................................................................................................................ 11

4.6 시멘틱 모션 ....................................................................................................................................................... 12 15

4.7 행위계획 활용 시나리오 .................................................................................................................................. 12

5. 행위계획 엔진 구성도 .......................................................................................................................................... 15

5.1 행위계획 클래스 다이어그램 .......................................................................................................................... 15

5.2 행위계획 시퀀스 다이어그램 .......................................................................................................................... 16


2013.12.10 12VC2110-01-

APE-DD0100

1.0 4


1. 문서 개요

1.1 문서의 목적

본 문서는 “인간 친화적 로봇 서비스 환경에서 판단 적합성 90% 이상인 복합지식 기반 판단 및 의

미기반 로봇 표현 기술 개발” 과제의 행위계획 엔진에 대한 설계를 정의한 문서로서 5차년도(2012.6.1.

~2017.5.31.) 중에 1-2차년도(2012.6.1. ~2014.5.31.) 결과물에 내용을 포함한다. 5

1.2 용어 (Terminologies) 및 약어 (Abbreviations)

약어 풀이

5W Who, Where, What, Why, When

HTN Hierarchical Task Network

SHOP Simple Hierarchical Ordered Planner

Plan A sequence of action

Action Applicable primitive interaction

Semantic Motion 상호작용 의미를 가지는 추상화된 개념의 행위 정보

1.3 참고 문헌

[R1] “인간 친화적 로봇 서비스 환경에서 판단 적합성 90% 이상인 복합지식 기반 판단 및 의미기반 로

봇 표현 기술 개발” 수행계획서, 2012.06. 10

[R2] [HRI_판단표현시스템] 요구사항 정의서, 2012.10.

[R3] [HRI_판단표현시스템] 요구사항 정의서(2차년도), 2013.07.

1.4 문서의 구성 및 내용

본 문서는 “인간 친화적 로봇 서비스 환경에서 판단 적합성 90% 이상인 복합지식 기반 판단 및 의15

미기반 로봇 표현 기술 개발”과제에서 행위계획 엔진에 대한 시스템 설계 내용을 포함하며, 1장에서는

문서의 개요를 기술하고, 2장에서는 본 과제와 연관된 연구에서 적용 가능한 내용을 포함하며, 3장에서

는 행위계획 엔진 구조를 설명하고, 4장에서는 행위계획 엔진의 모듈별 구조 및 기능에 대해 기술한다.


2013.12.10 12VC2110-01-

APE-DD0100

1.0 5


2. 행위계획 엔진 관련 연구 및 과제 활용

기존의 행위계획 관련 연구들을 분석하고, 본 시스템과 관련된 연구에서 적용 및 확장 가능한 연구내

용을 파악하여 설계에 반영하도록 한다.

HTN 기반 행위 계획엔진 관련 연구

- HTN(Hierarchical Task Planning)은 Task 나 Activity 를 수행하기 위한 action 의 순서를 계획하고 5

생성하기 위한 시스템으로 행위 계획을 위한 처리를 위해 사용되며, HTN 기반의 Planner 가

많이 개발되었음

- SHOP2(Simple Hierarchical Ordered Planner 2)는 HTN 플래닝 기반의 도메인 독립적인

플래닝 시스템으로 주어진 Task 를 실행 가능한 수준의 SubTask 로 decomposition 하여

partially order 된 형태로 행위 계획을 수행 가능하도록 하는 시스템이다. Task 를 subtask 로 10

분리 가능한 method 와 실행 가능한 primitive subtask(action)를 operator 로 기술하며 그림 1 은

KnowRob 시스템에서 SHOP2 를 이용하여 plan 을 생성하는 과정을 보여준다.

KnowRob 에서는 OWL 로 기술된 class 와 subclass 정보를 활용하여 task 를 subtask 로

SHOP2 와 매핑하여 사용한다. 그림 2 는 도메인 독립적으로 행위계획을 컴파일하고

실행하기 위한 과정을 보여 준다. 15

<그림 1> KnowRob 의 SHOP2 Planner


2013.12.10 12VC2110-01-

APE-DD0100

1.0 6


<그림 2> 도메인 독립적 태스크 컴파일 및 실행 과정

Semantic Robot Description Language(SRDL): 독일의 Technische University Munchen 에서 개발한 5

Semantic Robot Description Language 로,

- 기존의 로봇기술언어에는 high-level action 과 low-level description 사이의 의미적인 차이가

있었으며, 이것을 해결하고자 SRDL 개발함

- Robot 의 action, capability 및 component 를 Ontology 로 기술하며 semantic 정보를

포함한 PROLOG reasoning 엔진을 개발하여 추론함 10

- Action experience(실패/성공여부 및 횟수)를 표현 가능하도록 본 시스템에서 적용함

- SRDL 은 action 부터 robot component 까지 표현 가능한 언어를 제공하고 있으나, 본

시스템에서는 semantic action 수준의 기술과 상호작용 기술을 위한 언어를 확장하여 개발하여

적용함


2013.12.10 12VC2110-01-

APE-DD0100

1.0 7


3. 행위계획 엔진 구조

3장에서는 행위계획 엔진 구조를 기술하도록 한다. 행위계획 엔진은 1차년도에 상황이해 엔진으로부

터 인식 받은 5W(Who, Where, What, Why, When)정보와 Working Memory에서 현재 상태 및 의도 정

보를 참조하여 목표를 생성하고, Reactive/Deliberative 행위 계획을 생성하며 추상화된 의미를 가지는

Semantic motion을 표현엔진에 전송한다. 행위계획 엔진은 도메인에 맞는 Problem과 Domain지식을 5

기술하고, 상황이해 엔진에서 인식한 상황정보와 의도 인식 정보를 입력으로 task를 결정하고 실행가

능한 수준의 subtask로 구성하여 조건에 해당하는 플랜을 생성한다. HTN기반의 Planner인 SHOP2 Lib

를 적용하여 플랜을 실행하도록 한다. 행위계획엔진의 결과는 표현엔진에서 수행 가능한 추상화된 수

준의 의미를 가지는 시멘틱 모션을 생성한다. 생성된 Semantic motion은 표현엔진으로 전송되며, 행위

계획 실행 상태 정보는 내부 저장소에 관리되며 새로운 행위계획 생성시에 참조된다. 행위 계획엔진 10

구조는 <그림 4> 과 같다.

<그림 4> 행위계획 엔진 구조

행위계획 엔진은 Plan Execution Manager, Goal Manager, Plan Generator, Interaction Extractor, Social 15

interaction Library로 구성된다. 상호작용 시나리오 기술 분석기(Interaction Extrator)는 기존의 연구에서

얻은 상황-행위 지식 및 상호작용 실험을 통해 얻어진 상화에 따른 행위 수행 라이브러리를 저장한


2013.12.10 12VC2110-01-

APE-DD0100

1.0 8


Interaction Library에서 현재의 상태에 가장 유사한 상호작용을 찾는다. 행위계획을 생성하기 위해 필

요한 정보를 분석 및 처리한다. 행위계획 실행 관리기(Plan Execution Manager)는 Reactive/Deliberative

플랜 생성을 판단하고 생성하는 모듈이다. 행위계획 생성기(Plan Generator)는 현재의 상태정보를 이용

하여 행위계획을 생성하다. 목표 관리기(Goal Manager)는 상황인식 및 의도인식 결과에 따라 목표를

생성하고 행위계획 실행 결과에 따른 목표 달성 상태를 관리한다. 계획 계획 실행 관리기(Plan 5

Execution Manager)는 생성된 계획 흐름을 제어하고 실행하며, Semantic Motion을 생성하여 표현 엔진

에 전송한다. 시스템 모듈별 세부 구조와 기능은 4장에 설명하도록 한다.

10


2013.12.10 12VC2110-01-

APE-DD0100

1.0 9


4. 행위계획 엔진 모듈별 구조 및 기능

4장에서는 행위계획 엔진의 모듈별 구조와 기능에 대해 기술한다. 행위계획 엔진은 데이터 흐름을

살펴보면 <그림 5>와 같다.

5

<그림 5>행위계획 엔진 데이터 흐름

행위 계획 엔진은 상황이해 엔진에서 입력 받은 5W데이터와 Working Memory에 저장된 지식 정보

를 참조하여 행위 계획을 생성한다. 상황이해 엔진은 3W를 입력 받아 <그림 5>의 데이터 흐름에서

(1)과 같은 5W(Who: Chulsu, Where: Classroom, What: SolveQuiz, When: Break time, Why: Interact with

robot)를 생성한다. 행위계획 엔진은 (2)의 Plan Generator에서 (2-1)의 Goal Manager를 호출하여 목표10

와 initial state를 생성한다. 목표와 Initial state는 5W, Belief 및 Working Memory의 현재 상태정보를

참고하여 생성되며 Initial state의 예는 다음과 같다.

- Goal: SolveBasicQuiz(?S) //student

- Initial state: Loc(S) = Classroom, loc(R) = Classroom, Gaze(R) = S

15

(2-2)의 Interaction Scenario Description Analyzer에서는 상호작용 시나리오 템플릿(Interaction

Scenario Templates) 저장소에서 미리 정의된 서비스 시나리오 탬플릿을 선택하고 분석한다. (2-3)의

Plan Experience Manager는 행위계획엔진에서 생성된 행위계획 수행 결과에 대한 실패/성공여부 및 횟

수를 저장 및 관리하며 플랜을 생성할 때 실패 횟수가 높은 것은 배제하고 성공횟수가 높은 것을 수

행하도록 한다. (2-4)의 Plan instance는 (2)의 Plan Generator에 의해 생성된 결과로 Action의 순서와 20


2013.12.10 12VC2110-01-

APE-DD0100

1.0 10


절차를 가진다. 활용 예로, 구구단 서비스 시나리오는 인사->기본문제 퀴즈 풀기-> 정답확인 -> 보상

의 과정을 거쳐 행위 계획이 생성된다.

<PlanSeq>

<P1:Greeting action=“GazeAtMe”> //응시하기

<P2:SloveBacisQuiz> 5

<SubInteraction>

…

</SubInteraction>

<P3:Answer action=“Listen”/> //경청하기

<P4:Reward action =“Praise”/> //칭찬하기 10

</PlanSeq>

(3)의 Plan Execution Manager는 생성된 행위계획 인스턴스를 실행 및 관리하는 모듈로 미리 정의한

State-action rule에 따라 반응형 행위계획(Reactive plan)을 수행한다.

if(gazeAtMe == true) 15

then exectueNextAction();

If(gazeAtMe == false)

then executeGazeActionPlan();

Gaze Action:

TTS actions(“안녕! 나좀봐”) 20

(3-1)의 Semantic motion은 상호작용 의미를 가지는 추상화된 개념의 행위를 의미하며 표현엔진에

전달되는 메시지 이다. Semantic motion은 표현엔진의 motion과 매핑된다.

SM: GazeAtMe(chulsu, classroom, 60, Null, Null)

<Semantic Motion =”GazeAtMe”> 25

<Subject = “Chulsu”/>

<Location = “Classroom”/>

<Engagement = “60”/>

<Understanding/>

<Familiarity/> 30

</Semantic Motion>


2013.12.10 12VC2110-01-

APE-DD0100

1.0 11


4.1 행위 계획 생성기(Plan Generator)

행위계획 생성기는 Reactive/Deliberative 플랜 생성을 판단하고 생성하는 모듈로 반응형 플랜

(Reactive Plan)은 미리 정의한 State-action 규칙에 따라서 플랜을 생성한다. Deliberative plan은 설정된

목표와 현재의 상태변화에 따라 생성된 플랜의 실행 순서를 제어하여 새로운 플랜을 생성하거나 하위

플랜을 재생성 한다. 5

4.2 목표 생성기(Goal Generator)

목표 생성기는 목표에 대한 생성 및 상태를 관리하는 모듈로 목표에 대한 달성, 실패 및 실행에 대

한 처리를 하며 상황인식엔진에서 입력받은 상황정보 및 의도 정보를 기반으로 목표를 생성하고 플랜

수행 결과에 따라서 하위 목표를 생성하고 관리한다. 목표가 달성 될 때가지 플랜을 재생성하여 행위

계획을 수행하도록 한다. 10

4.3 계획 경험 관리기(Plan Experience Manager)

계획 경험 관리기는 수행된 행위 계획에 대한 생성 및 실행 상태를 관리하며 행위계획의 실패와 성공

여부에 따라 새로운 행위 계획 생성시 반영된다. 행위계획에 대한 실패/성공 여부, 성공 횟수 등에 대

한 정보는 Belief base에 지식으로 저장된다.

4.4 행위계획 실행기(Plan Execution Manager) 15

행위계획 실행기는 행위계획을 시나리오 흐름에 따라 행위를 수행하고 흐름을 제어하는 모듈로, 생성

된 행위 계획에 맞는 Semantic motion을 생성하며 표현엔진에 전송한다.

4.5 행위계획 엔진 지식 베이스

행위계획 엔진에서 관리되는 지식 베이스는 행위계획 엔진에서 필요한 메모리상에서 관리 가능하도20

록 파일 베이스로 저장되어 관리된다.

- Interaction Library (Interaction Scenario Template): 상호작용의 상황별 수행 행위에 대한 지식을 저장

한다.

- State-Action Rules: 5W 인식 결과 및 현 상태정보를 기반으로 precondition에 맞는 반응형 계획

(Reactive plan)을 생성하기 위한 규칙을 저장한다. 25

- Action Library: Primitive interaction에 대한 Library를 저장한다.

- Belief Base: 행위 계획 엔진의 상태 정보 저장, 수행된 플랜의 성공/실패 정보 저장 및 Goal 상태를

저장한다.


2013.12.10 12VC2110-01-

APE-DD0100

1.0 12


4.6 시멘틱 모션

시멘틱 모션은 행위계획 엔진의 결과로 생성되며 상호작용 의미를 가지는 추상화된 개념의 행위

정보를 의미한다. 시멘틱 모션은 표현엔진과 연동하기 위한 메시지로 표현엔진의 모션과 매핑된다.

Semantic motion은 XML 또는 RDF로 기술된다. 시멘틱 모션은 상호작용의 최소 단위인 Action에 5

대상(Who), 장소(Where), 몰입도(Engagement), 이해도(Understanding), 친밀도(Familiarity) 파라미터를

포함한 것으로 표현 한다. 값이 생성되지 않은 파라미터는 null로 처리한다. 또한, 시멘틱 모션 종류에

따라 파라미터를 달리 적용하도록 한다. <그림 5>는 시멘틱 모션의 파라미터와 시멘틱 모션의 타입별

종류를 나타낸다. 시멘틱 모션은 primitive 타입과 complex타입으로 나뉘며, complex 타입은 여러 개의

primitive 타입으로 구성된다. 10

<그림 5>시멘틱 모션

4.7 행위계획 활용 시나리오

<그림 6>은 1차년도 구구단 퀴즈 풀기 시나리오 기반의 행위계획 예를 나타낸다. 구구단 퀴즈 풀기 15

시나리오는 로봇, 학생의 1:1 상황에서 발생하는 상호작용을 기술하며, 학생의 이해도 및 몰입도 수준

에 맞게 로봇과의 상호작용을 제공함으로써 흥미를 유도하도록 한다.


2013.12.10 12VC2110-01-

APE-DD0100

1.0 13


<그림 6> 구구단 시나리오 관련 플래닝

구구단 퀴즈 풀기의 Task는 다음과 같은 흐름으로 진행된다.

1. 만남에 대한 인사 5

2. 기본 퀴즈 풀기

3. 학생의 답변에 대한 확인

4. 반응에 대한 보상

5. 학생의 상태에 따른 수준별 상호작용 플래닝

10

구구단 퀴즈 풀기 시나리오는 로봇과 학생과의 상호작용 방법에 따라 놀이형태 및 공부형태의 subtask

로 나눠 질 수 있다. Subtask는 precondition의 만족여부에 따라 세부 action의 sequence로 구성된다.

더 이상 하위 task로 쪼개 질 수 없을 때까지 decomposition 과정이 진행되며 primitive task가 하나의

수행 가능한 action이 된다.

<그림 7> 행위 계획에 대한 동적 플래닝의 예를 나타낸다. 15


2013.12.10 12VC2110-01-

APE-DD0100

1.0 14


<그림 7> 동적 플래닝 예


2013.12.10 12VC2110-01-

APE-DD0100

1.0 15


5. 행위계획 엔진 구성도

5.1 행위계획 클래스 다이어그램

행위계획 엔진은 re.etri.sylva, re.etri.sylva.state, JSHOP2패키지로 구성된다. Sylva 패키지에는 행위계획

을 수행하기 위한 주요 클래스를 정의하며, state패키지는 행위계획 생성에 대한 상태정보를 관리하기

위한 클래스를 정의하다. JSHOP2 패키지는 JSHOP2 플래너에 대한 클래스를 정의한 것으로 주로 5

Sylva클래스에서 주로 활용하는 Library이다.

<그림 8> 행위계획 엔진 클래스 다이어 그램.


2013.12.10 12VC2110-01-

APE-DD0100

1.0 16


행위계획 엔진은 ActionPlanner, PlanExecutionManager, PlanStateManager, GoalManger,

SemanticMotionManger 의 주요 클래스로 구성되며, ISemnaticMotion, IGoalManger, IPlannerState 의

인터페이스를 가진다.

5.2 행위계획 시퀀스 다이어그램

<그림 9>는 행위계획 엔진의 모듈별 흐름을 보여주는 시퀀스 다이어그램 이다. ActionPlanner는 5

PlanExecuteionManger을 호출하여 SHOP2를 이용하여 planlist를 생성하고, 생성된 paln을 처리하기

위해 goal을 생성하여 plan에 해당하는 시멘틱 모션을 생성하고 관리하게 된다.

<그림 9> 행위계획 엔진 시퀀스 다이어 그램 10

인간로봇상호용 연구실 ·콘텐츠연구소reel.hansung.ac.kr/shri/files/d5.2 행위...

Documents