그리드 컴퓨팅 기술 - kistigift.kisti.re.kr/data/iac/files/kisti-200511-pky-griding... ·...

89
그리드 컴퓨팅 2005. 11

Upload: others

Post on 09-Feb-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

그리드 컴퓨팅 기술

2005. 11

Page 2: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

머 리 말

국경 없는 무한경쟁시 를 맞이하여 우리나라 과학기술계 산

업체의 국제경쟁력강화가 미의 국가 과제로 두되고 있습니

다. 창조 지식이 다른 어떤 생산요소보다 큰 부가가치를 창출하

고, 경제 혹은 사회 풍요가 과학기술 지식을 얼마나 창의 으

로 활용할 수 있느냐에 달려있는 지식기반사회로의 빠른 변모가 필

요하게 되었습니다. 수년 내 1인당 국민소득 2만 불 시 를 지향하

고 있는 우리나라가 소기의 목 을 무리 없이 달성한 뒤 최강 경제

국으로 도약하기 해서는 창조 국가 략기술의 육성 확산

의 뒷받침이 필수불가결한 여건이 될 것입니다.

이러한 우리의 사회 요구 여건과, 어느덧 상당한 정도의 지식

기반사회가 우리 곁에 성큼 와 있는 우리나라의 실에 박차를 가

할 목 으로 희 한국과학기술정보연구원(KISTI)에서는 ‘첨단기

술정보 분석’ 업무를 수행하여 련 산학연에 능동 으로 보 하고

있습니다. 이 분석업무는 과학기술부 과학기술진흥기 출연 ‘원로

과학기술인 활용 지원사업’의 일환으로 수행되는 것으로, KISTI

문연구 원들의 오랜 연구개발 장경험과 노하우를 바탕으로

Page 3: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

한국과학기술정보연구원

원 장

KISTI의 방 한 첨단 과학기술정보를 분석하여 ‘ 문가 제언’을 첨

부시킨 것입니다.

이번의 첨단기술정보분석보고서 60과제는 희 연구원이 2005년

도에 수행한 ‘첨단기술정보 분석’ 결과물 에서 각 기술분야별로

지식기반 산업사회를 선도해 나갈 수 있도록 목록을 재편집하여 작

성한 것으로, 각 ‘ 문가 제언’에서 주장하는 내용은 각 분석자의

사견일 뿐 희 연구원의 공식 견해가 아님을 밝 둡니다.

2005년 12월

Page 4: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

목 차

제 1 장 서 언 ·······················································································1

제 2 장 영국 연구시설관리연구회의 과학 분야 메타데이터 모델 ·······3

제 3 장 영국에서의 e-과학 그리드 구축 - 향상된 그리드 컴퓨팅 환경

컴퓨팅 환경 ··········································································27

제 4 장 치과의료 분야에서 Grid 기술과 Post Virtual Reality ___

Reality ··············································································35

제 5 장 환경 분자 처리: 시뮬레이션 자료와 주석의 관리 ···············45

제 6 장 CCLRC 자료 길라잡이를 이용한 자료 관리 ·······················55

제 7 장 eMinerals 프로젝트 안에서의 Grid 툴 통합 ··················65

제 8 장 공동기간시설의 가상분산 환경 ·············································75

Page 5: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

서 언 1

제 1장

서 언

□ Grid computing 기술은 여러 곳에 산재한 컴퓨터와 장 자

원들을 하나의 네트워크로 묶어 제어할 수 있는 가상 컴퓨터

를 구성하고 산처리하는 기술이다. 네트워크와 인터넷 기술

의 발 으로 여러 사이트를 동시에 연결해 정보를 주고받을

수 있는 Grid 형태의 병렬구조로 산 환경이 구성된다. 이 개

념은 미국 Chicago 학교의 Ian Foster 교수가 처음 제안하

여 1998년부터 Grid 시스템이 구축되기 시작했고, 한국에서도

2001년에 Grid 포럼이 발족되면서 본격 이 연구 개발이 착수

되었다. 특히 국 Darebury에 소재한 e-과학센터에서는 좀

더 향상된 grid computing 환경으로 e-과학 Grid를 구축하여,

여러 기 이 공동 개발을 한 인터페이스를 마련했다.

□ CCLRC(Council for Central Laboratory of the Research

Councils)에서 다양한 과학 분야의 연구 자료를 장, 상호 교

환, 력 작업, 검색 등에 가장 한 포맷(format)으로 메타

데이터 모델(meta data model)의 시제품을 제시했다. CCLRC

에서 개발된 자료 Portal을 이용하여 여러 참여자들이 공동

Page 6: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

2 그리드 컴퓨 기술

사용 가능한 자료 리시스템도 소개되었다. e-Minerals

로젝트에서는 여러 가지 middleware들이 개발되어 분산된

커뮤니티에서 균질하지 못한 자료들의 생성과정에 활용되는

종합 인 인 라가 제공되었다. e-Minerals minigrid는

CCLRC 자료 portal의 합성 이용에 기반한 자료 구성성분들

과 midleware 구성성분들을 다른 환경에서 작업을 제출하는

시설로 통합했다.

□ “공동기간시설의 가상분산 환경” 연구에서는 grid 공동기간시

설에서 가상분산 환경을 구 할 수 있는 middleware인 Violin

을 개발하여 가상화 구 을 한 단계 더 발 시켰다. 더욱이

치과의료 분야에서는 새로운 Grid 응용기술인 Post Virtual

Reality의 개발에 따른 기여가 망된다. “감성 상 필터링

시스템 사례”에서는 소리, 음악, 이미지 등의 멀티미디어 자료

들의 검색이 가능한 K-DIME(Kansei Distributed Information

Management Environment)을 개발하고, 이에 기반한 호텔 검

색 시스템을 구축하여 상을 인지하는 과정에서의 가변성,

문맥에 따른 의미의 문제 들, 언어 사용의 일 성 유지라든

가 인지 처리의 구체화의 문제 들을 시험해 보았다.

Page 7: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 3

제 2 장

영국 연구시설관리연구회의 과학 분야

메타데이터 모델1)

1. 개 요

□ 첨단 과학 분야는 차 증가하는 데이터의 처리, 교류, 장

검색 등에서 많은 도 에 직면하고 있다. 범학제

(Interdisciplinary) 과학 분야의 연구에서 생성되는 데이터를

포맷하기 한 종합 이고 포 인 메타데이터 모델인

CSMDM(CCLRC Scientific Metadata Model)을 제시하 고

이를 구 하여 연구회 내부 외부의 련된 분야에 사용하

고 있다.

□ CSMDM에서 을 둔 메타데이터의 내용으로는 연구의 출

처, 데이터의 사용, 데이터의 구조, 데이터의 치, 련된 자

료, 색인정보 등으로 범학제 다양한 과학 분야의 연구 자료

1) 본문은 “S. Sufi et al, CCLRC Scientific Metadata Model : Version 2, CCLRC

Data portal project, (8), 2004, pp. 1~95”를 김종태 문연구 원께서 분석 요

약한 것입니다.

Page 8: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

4 그리드 컴퓨 기술

를 다루기 한 모델이다. 한 분산된 환경 하에서 통합된

그리드(Grid) 랫폼으로서 구 하여 연구 자료를 쉽게 검색,

재사용, 동작업 리를 달성하고자 시도하 다.

□ CSMDM에 사용한 메타데이터는 계층구조를 가진다. 과학 분

야의 활동에 해당하는 가장 높은 단계의 메타데이터에는 정

책, 로그램, 연구, 조사가 있다. 조사 메타데이터의 하 단

계에는 측정, 실험, 시뮬 이션이 있다. 이들 메타데이터는 개

념 인 표 에서 실제 이거나 물리 인 표 으로 좀더 자세

하게 표 된다. 그러므로 가장 최소 단 의 메타데이터가 생

성될 때까지 계층 으로 하 메타데이터가 계속 정의된다.

CSMDM에서 특이한 은 데이터 홀딩(Holding)이라는 메타

데이터의 정의로서 연구를 수행한 결과 생성된 자료를 항목으

로 갖는다. 이 메타데이터는 상 계층의 메타데이터에도 존

재하고 하 계층의 메타데이터에도 존재한다.

□ CSMDM을 개발하기 해 참조한 기존의 형태로는 지구과학

의 CIP(Catalogue Interoperability Protocol), 사회과학의

DDI(Data Document Initiative), 도서출 분야의 더블린코아

(Dublin Core)가 있고 하 벨을 다룬 XSIL(Extensible

Scientific Interchange Language)과 CERA가 있다. 재

XML(eXtensible Markup Language) 기술과 데이터베이스로

시제품을 웹상에서 구 하여 연구회 내부 외부에서 사용하

고 있다.

Page 9: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 5

2. 모델의 개발 배경

□ 2000년도 국정부의 과학 신백서에서 e-Science 연구개발

로젝트를 발표하 다. e-Science는 인터넷으로 인해 가능해

진 분산체계 하에서 세계 인 력을 통해 막 한 양의 데

이터 수집, 테라 의 컴퓨터 자원 활용, 고해상도의 상화 실

등에 한 과학을 집합 으로 지칭하는 용어이다. 최근 많

은 첨단 과학 분야에서 지속 으로 증가하는 데이터의 처리,

상호 교환, 장, 상화 등에서 매우 심각한 문제에 직면하고

있다. e-Science 연구사업의 목표는 2가지 형태가 있다. 하나

는 개별 연구회 각자가 문분야에서 처한 문제를 해결하는

것이고, 다른 하나는 연구회간의 서로 다른 활동에 있어서의

기반이 되는 기술의 해결방안과 미들웨어를 개발하고 보 하

는 것이다.

□ 국의 연구시설 리연구회인 CCLRC(the Council for the

Central Laboratory of the Research Councils)는 유럽에서

가장 큰 연구 지원기 의 하나로 가속기, 이 , 망원경,

성, 슈퍼컴퓨터 등의 규모 연구시설을 운 하고 있다.

재 CCLRC에 보유하고 자료는 60테라(Tera: 10의 12제곱)바

이트이지만 새로운 장비, 계측기, 로젝트로 인해 3~4년 내

에 페타(Peta: 10의 15제곱)바이트를 과할 것이다.

□ CCLRC에서 소장하는 자료는 주요 과학 분야인 천문학, 생물

Page 10: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

6 그리드 컴퓨 기술

학, 화학, 환경과학, 물리학이다. 이러한 자료는 일시스템과

데이터베이스에 장되어 있고 재는 이들 데이터를 검색하

는 공통 인 방법은 없다. 실제 일을 열은 다음 읽어야 하

고 자료의 장이 일 성이 없어 온라인으로 검색이 어려울

때도 있다. 이러한 문제는 자료 자원의 사용을 감소시키고 자

료의 재생산을 방해한다. 한 학제간의 상호 연구를 활성화

할 수 없다.

□ CCLRC의 모델을 개발하는데 향을 많이 끼친 모델로는 지

구 찰 분야의 CIP, 사회과학 분야의 DDI, 도서출 분야의

더블린코아, 칼텍(Caltech)의 XSIL, 기후 환경 과학의 CERA

등이다. 더블린코아는 1995년 국의 더블린에서 시작된 약

에서 도서출 분야에 필요한 15개의 기본요소를 정의하 고

무 상 벨로 구성되어 구체 인 정보를 수용할 수 없다.

XSIL은 무 낮은 벨만 다루어 상 벨을 수용할 수 없

고, CERA는 본 모델과 매우 가깝지만 지구과학 주로 되어

있다.

3. 모델의 접근방법

□ CSMDM은 과학 분야 연구의 에서 메타데이터 내부에 연

구 데이터를 장하는 것도 포함하여 이들 데이터를 다루기

한 일반화된 메타데이터 모델을 추구하 다. 특정 분야에도

그 분야에 맞도록 특화할 수 있는 모델이다. 처음에는 연구회

Page 11: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 7

내부의 3개 분야에 용하여 개발하 고 그 이후에 다양한 분

야에 용할 수 있도록 일반화하 다. 메타데이터 모델을 도

출하기 해 3가지 근 방법을 사용하 다.

○ 도식으로 표 : 연구와 련된 데이터의 생성부터 장까지

모든 과정을 객체지향 방법으로 분석하고 설계하기 해 이

를 도식화하 다. 메타데이터나 메타데이터의 항목은 클래스

로 정의하 고, 클래스와 클래스 사이는 계로 정의하 다.

클래스는 그 객체에 한 속성 련 정보를 표 하고,

계는 객체 사이에 연 된 계를 표 한다. 클래스나 계는

기계의 에서 구체 으로 표 하거나 사용자의 에서

는 개념 으로 표 할 수 있다.

○ 치정보 표 : CSMDM에서는 메타데이터가 논리 는 물

리 데이터를 스스로 포함하여 보유하도록 설계되었다. 데이

터나 자원이 어느 치에 있는지 그 정보를 표 한다. 이는

메타데이터의 요소에 그 데이터의 논리 인 치 정보나 물리

인 치 정보를 표 한다. 그러므로 데이터를 분산하여 구

축하고 검색할 때 그 장 치에서 데이터를 가져온다.

○ 련정보 표 : 련 정보를 표 할 때 그 정보가 무엇이고

출처는 어느 곳인지를 설명하는 방법, 어떻게 사용되는지 한

정하는 방법, 그 정보의 후 계를 나타내는 방법을 사용

한다.

Page 12: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

8 그리드 컴퓨 기술

□ CSMDM에 사용한 메타데이터는 계층구조를 가진다. 과학 분

야의 활동에 해당하는 가장 높은 단계는 정책, 로그램, 연

구, 조사가 있다. 조사의 하 단계는 측정, 실험, 시뮬 이션이

있다. 가장 상 벨인 정책은 정부에서 행하는 기술개발 정

책이 이에 속한다. 이러한 정책에 의해 로그램이 만들어지

고 그 로그램에 의해 연구 는 연구 과제가 탄생한다. 연

구를 하기 해 조사라는 행 를 하게 된다. 조사는 연구를

수행하기 한 하나의 부분으로 볼 수 있고 실험을 하거나 측

정 는 컴퓨터를 이용한 시뮬 이션을 한다. 이 조사의 행

로 데이터가 생성되고 이를 보유하거나 장하는 방법이 있어

야 한다.

□ 데이터를 보유하거나 장하기 한 개념을 데이터 홀딩이라

고 한다. 이는 CSMDM에 요한 개념으로 메타데이터 형식

으로 정의하 다. 데이터 홀딩은 어느 계층에서도 표 될 수

있다. 즉, 로그램, 연구, 실험 벨뿐만 아니라 논리 인 데

이터나 물리 인 데이터도 데이터 홀딩으로 표 된다.

□ 데이터 홀딩은 계층 인 구조를 가진다. 조사는 데이터 수집

이라는 계층을 만든다. 데이터 수집은 실제 실험이 이루어져

서 물리 인 데이터가 생성되고 물리 인 일로 장된다.

실험을 하는 경우 실험에서 직 가공하지 않은 데이터가 생

성이 된다. 이 가공하지 않은 데이터는 간 단계에서 처리되

어 간 데이터가 생성되고 최종 으로 최종 데이터가 생성

Page 13: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 9

된다. 각 단계에서 생성된 데이터는 그 값 자체로 물리

치에 물리 인 일로서 장된다. 그러므로 메타데이터는 어

느 계층이든지 물리 인 데이터까지 데이터 홀딩이 가능하도

록 설계되었다.

□ 데이터 홀딩에서는 하나의 논리 표 이 다수의 물리 인

치로 매핑이 이루어진다. 그러므로 물리 인 치가 바

어도 매핑은 하나의 장소에서 일어나고 메타데이터는 일 성

을 유지할 수 있다. 이로써 사용자가 데이터의 장소를 선택하

여 제공하면 일 성 있게 모든 사용자에게 데이터를 제공할

수 있다.

□ 메타데이터의 설계 구 에 객체지향 방법을 도입하 다.

메타데이터가 하나의 객체로 표 되고 객체지향 방법으로 객

체구조를 클래스로 정의하고, 클래스의 실체를 정의하는 인스

턴스, 리를 한 캡슐화, 클래스의 특성을 계승받아 새로운

클래스를 만드는 상속성 등의 개념을 사용하 다.

4. 모델의 정의

□ 연구 메타 정보의 메타데이터는 연구 메타데이터의 출처에

한 속성 정보를 지니는 메타데이터이다. 메타데이터의 요소로

는 메타데이터 출처, 메타데이터 식별자, 메타데이터 식별자

방안, 메타데이터 합성, 메타데이터 스키마가 있다.

Page 14: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

10 그리드 컴퓨 기술

○ 메타데이터 출처 : 메타데이터가 장된 서버의 이름

○ 메타데이터 식별자 : 장된 메타데이터 코드의 코드 값

○ 메타데이터 식별자 방안

○ 메타데이터 합성 : 문서의 합성 벨

○ 메타데이터 스키마 : 메타데이터에 한 스키마로서 XML 스

키마 는 데이터베이스 스키마 의 하나

□ 과학 분야 연구의 메타데이터에는 다음 5가지의 하 메타데

이터가 있다. 즉, 토픽, 연구 설명, 검색 조건, 련 자료, 권한

노트이다.

○ 토픽

○ 연구 설명

○ 검색 조건

○ 련 자료

○ 권한 노트

○ 의 연구 메타데이터에 자세한 사항은 아래에서 언 한다.

□ 토픽의 메타데이터는 키워드와 주제가 있다. 키워드와 주제는

문사 에서 분류한 용어를 따르는 것으로 보통 한정된 목록

으로 제공된다. 사용자가 자유 검색어를 사용하여 검색할 수

있는 연구에 한 주요한 색인 방법이다. 주제는 키워와 비교

하면 / /소 분류에 련된 사항을 다룬다.

Page 15: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 11

○ 키워드 : 키워드의 메타데이터는 다음과 같다.

- 학제 : 과학의 분야 (수학, 생물학 등)

- 키워드 출처 : 키워드의 용어가 정의되어 있는 사 정보

- 키워드 : 실제 키워드의 목록

○ 주제 : 주제의 메타데이터는 다음과 같다.

- 학제 : 주제가 속한 과학의 분야

- 주제 출처 : 주제의 용어가 정의되어 있는 분류사 정보

- 주제 : 체계 ( / /소) 분류 목록 에 하나의 주제로서

를 들면, 지구과학/ 기/온도/공기온도

□ 연구 설명의 메타데이터는 연구의 출처 (과제의 개요, 연구원,

연구기간 등)에 한 것으로 연구 설명에 한 메타데이터는

다음과 같다.

○ 연구 이름 : 연구제목

○ 연구 식별자 : 사용자가 참조하기 한 연구 식별자

○ 연구기 : 연구 수행기 과 각 기 별 역할에 한 것으로

데이터 제공자 는 측정 제공자가 이에 속한다. 연구기 에

한 메타데이터는 다음과 같다.

- 이름 : 연구기 의 이름

- 역할 : 연구기 의 역할

Page 16: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

12 그리드 컴퓨 기술

- 유형 : 연구기 의 유형으로 학교, 정부, 기업 하나

- 식별자 : 연구기 을 구별할 수 있는 유일한 식별 코드

- 데이터 리자 : 데이터를 생성하거나 보유하는 책임을 지

고 있는 기

○ 연구원 : 이름, 소속기 , 연락처, 연구에서의 역할에 한 것

으로 연구책임자와 연구원에 한 메타데이터는 다음과 같다.

- 이름 : 연구원의 이름

- 연구기 식별자 : 연구원이 속한 기 의 식별 코드

- 연락처 : 주소 연락처에 한 것으로 연락처의 메타데이

터는 다음과 같다.

A. 주소 : 연구원의 주소

B. 화번호 : 화번호, 팩스번호

C. 이메일 주소

D. 웹 주소 : 개인의 URL

- 역할 : 연구에서 역할로서 연구책임자, 동 연구책임자,

데이터 리자 등

- 직 : 소속기 에서 직

○ 연구 정보 : 연구의 개요, 연구비, 연구 기간, 연구 진행/완료,

연구에 사용하는 재료 장비에 한 것으로 연구정보에

한 메타데이터는 다음과 같다.

- 연구비 출처 : 연구비 지원 기

- 연구 기간 : 구 시작과 종료일, 주요 일정

Page 17: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 13

- 목 : 연구의 목

- 연구 상태 : 연구 상태 (시작 , 진행, 완료)

- 자원 : 사용하는 재료 장비

○ 조사 : 연구과제의 수행으로 행하는 조사에 한 것으로 를

들면, 실험, 측정, 시뮬 이션 등이 이에 속하고 조사에 한

메타데이터는 다음과 같다. 조사는 사용하는 장비나 하드웨어

에 따라 하 의 메타데이터를 정의할 수 있다.

- 조사명

- 조사 유형 : 실험, 시뮬 이션, 측정, 계산 등

- 개요 : 조사의 개요에 한 간단한 설명

- 자원 : 이 조사에 사용되는 장비나 시설과 같은 자원

- 데이터 홀딩 : 조사한 데이터 집합의 논리 계층으로 데이

터 일의 맨 상층에 해당한다.

○ 노트 : 기타 사항으로 평가자의 논평 등

□ 검색 조건의 메타데이터는 검색 권한 조건에 한 정보에

한 것으로 메타데이터나 데이터에 검색 권한이 있는 사용

자, 그룹 목록, 검색권한 제어시스템 정보가 이에 속한다.

□ 련 자료의 메타데이터는 련된 주변 사항에 한 것으로

련 자료에 한 메타데이터는 다음과 같다.

Page 18: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

14 그리드 컴퓨 기술

○ 출 : 연구 결과에 한 출 으로 제목, 자, ISSN, URI 등

○ 참조 : 참고한 문헌이나 표

○ 공동체 : 함께 연구한 공동 기 이나 단체

□ 권한 노트의 메타데이터는 자권, 특허, 라이센스 등과 같이

연구와 데이터에 속한 법 인 권한에 한 것이다.

□ 데이터 홀딩의 메타데이터는 다음 5개의 하 메타데이터가

있다. 즉, 데이터 설명, 데이터 수집, 최소 데이터 객체, 련

참조, 자료 보유 치이다.

○ 데이터 설명

○ 데이터 수집

○ 최소 데이터 개체

○ 련 참조

○ 자료 보유 치

○ 이들에 한 자세한 사항은 아래와 같다.

□ 데이터 설명의 메타데이터는 데이터 장 에서 데이터의

설명에 한 것으로 데이터 설명에는 다음과 같은 메타데이

터가 있다.

○ 데이터명 : 데이터 자체의 논리 인 이름으로 데이터 홀딩, 데

이터집합, 최소 데이터 객체 에 하나

Page 19: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 15

○ 데이터 유형 : 데이터가 데이터 집합이거나 최소 데이터 객체

일 경우 데이터의 유형

○ 상태 : 데이터 홀딩, 데이터 수집, 최소 데이터 객체 에서 속

하는 데이터의 상태

○ 데이터 품질 : 인증과 련된 데이터의 품질 단계

○ 데이터 토픽 : 데이터의 색인을 한 키워드나 분류

○ 논리 설명 : 매개변수 정보에 한 것으로 논리 설명에는

다음과 같은 메타데이터가 있다.

- 매개변수 : 매개변수의 설명에 한 것으로 매개변수는 다

음과 같은 메타데이터가 있다.

A. 매개변수 이름 : 온도, 샘 링 주 수 등과 같은 이름

B. 매개변수 식별자

C. 매개변수 참조 : 련된 매개변수 식별자

D. 매개변수 클래스 : 정량 는 정성 측정

E. 기원 : 고정값, 측정값, 계산 값 에 매개변수가 속한 값

F. 단 : 사용 단

G. 매개변수 값

F. 사용시설 : 사용한 시설 즉, 계측기 이름 등

G. 범 : 매개변수 값의 범

H. 매개변수 : 서 매개변수 는 매개변수 집합

Page 20: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

16 그리드 컴퓨 기술

- 시간 간격 : 데이터와 연 된 시작과 끝 시간

- 설명 : 자유형식의 텍스트

- 사용 시설 : 데이터를 생성하기 해 사용한 시설이나 자원

○ 소 트웨어 : 데이터를 사용하는 로그램, 웹 페이지, OS 등

□ 데이터 수집의 메타데이터는 다음과 같은 메타데이터가 있다.

○ 데이터 설명

○ 최소 데이터 객체

○ 데이터 수집: 자체 루 인 네스 (Nesting)을 허용

○ 련 참조

○ 데이터 수집 치

□ 최소 데이터 객체(Atomic Data Object)의 메타데이터는 다음

과 같다.

○ 이름 : 논리 이름

○ 데이터 설명

○ 련 참조

○ 치 : 일이 물리 인 치를 결정하는 정보를 포함

□ 련 참조의 메타데이터는 다음과 같다.

Page 21: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 17

○ 유형 : 참조 출처의 계

○ 방향

○ 언 항목

○ 방법

○ 참조 치 : 참조 치에 한 메타데이터는 다음과 같다.

- 서버 : 호스트 이름

- 포트 : 호스트 포트

- 서비스 : 서버에서 행하는 서비스 이름

- 장명

- 장 식별자

- 연구명

- 연구 식별자

- 조사명

- 조사 식별자

- 데이터 수집

- 데이터 수집 식별자

- 최소 데이터 객체 이름

- 최소 데이터 객체 식별자

□ 최소 데이터 객체 치의 메타데이터는 다음과 같다.

○ URI : 물리 데이터를 연결하는 URI

○ 사이즈 : 바이트로 나타낸 크기

○ 옵 셋

Page 22: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

18 그리드 컴퓨 기술

○ 일 : 일 최소 데이터 객체 치의 메타데이터는 다음과

같다.

- URI 유형 : 는 상 의 URI의 유형

- 미디어 : 일이 장되는 매체

- 일 유형 : 일에 있는 데이터의 유형

○ 데이터베이스 : 데이터베이스 최소 데이터 객체 치의 메타

데이터는 다음과 같다.

- 데이터베이스 유형 : 계형, 계층형, 객체지향형 의 유형

- 데이터베이스 제품 이름

- 데이터베이스 제품 버

- 호스트 : 호스트 이름

- 인스턴스(Instance) : 데이터베이스의 인스턴스 식별자

- 데이터베이스 : 데이터베이스 이름

- 포트 : 데이터베이스가 치한 인터넷 주소 포트

- 질의(Query) : 질의어

- 질의 유형 : SQL, XQUERY 등 질의 유형

- 엔코딩 : 데이터베이스의 문자 암호화

- 결과 데이터 포맷

- 결과 스키마

5. 모델의 항목에 대한 이슈

□ 필수 입력과 선택 입력의 이슈 : 메타데이터의 한 항목이나

Page 23: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 19

요소에 하여 필수 으로 입력을 할 것인지, 아니면 선택

으로 입력하거나 입력하지 않을 것인지를 결정하는 사항은

구 에 한 이슈로 볼 수 있다. 모든 요소를 선택 요소로 할

것인지는 메타데이터의 벨에 따른 합성의 문제이지만

실 으로 이러한 경우는 거의 없다. 통상 하나의 메타데이터

에서 한 개 이상의 요소에 한 값은 필수 으로 입력하도록

한다.

□ 목록나열(Enumeration)의 이슈 : 기 의 유형 역할 등은

용 분야에 따라 독특한 값을 지닌다. 사용자의 화면에서는

이러한 요소를 선택하면 그 요소에 해당하는 모든 값이나 항

목을 목록 박스에 보여 다. 이때 그 목록 에서 원하는 값

을 마우스로 클릭하면 선택된다. 과제의 분야를 선정할 때 그

분야의 목록이 무 길면 화면상에서 보여주기가 어려움으로

/ /소 분류표를 만들어 해당하는 분야를 숫자코드로 제공

할 경우도 있다. 그러나 이러한 이슈는 모델에 꼭 필수 인

부분은 아니고 사용자의 편리성을 제공하기 한 사항으로

용분야에 따른 선택의 이슈로 볼 수 있다.

□ 횟수(Cardinality)의 이슈 : 어떤 요소에 한 값은 오직 하나

의 경우만 있을 수 있거나 다수의 경우가 있을 수도 있다.

를 들면, 키워드는 최소 한개 이상을 입력하도록 규정할 수

있다. 이러한 이슈는 때때로 격한 논쟁을 불러일으키기도 하

지만 용 모델에 따라 구 의 이슈로 남게 된다. 문제의 요

Page 24: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

20 그리드 컴퓨 기술

소를 선택사항으로 하면 많은 문제를 일으킬 수 있다. 그러므

로 이러한 문제를 해결하기 해서는 문서상에 그 제한하는

요소를 언 하여 논란의 소지를 없애도록 한다.

6. 모델의 적합성(Conformance) 레벨

□ 연구 분야에 한 메타데이터 체를 완성하기 해서는 많은

양의 메타데이터가 장되고 처리되어야 한다. 메타데이터는

계층구조이므로 계층이 낮아질수록 더 많은 데이터와 색인정

보가 입력되어야 한다. 그러므로 계층에 따라 합성 벨을

정해서 상세 정보의 벨을 구분할 필요가 있다. CSMDM에

서는 5단계의 합성 벨을 사용한다.

○ 벨 1 : 연구와 조사의 메타데이터만 완성하고 데이터 홀딩에

한 사항은 이 벨에서는 언 하지 않는다. 색인정보는 오

직 연구 메타데이터에서만 이루어진다. 이러한 벨은 서 출

에 련된 더블린 코어 메타데이터 벨과 비슷한 수 이다.

○ 벨 2 : 벨 1에 더하여 데이터 홀딩에 한 메타데이터로

이루어진다. 데이터 홀딩은 데이터 세트와 데이터 객체를 포

함한다. 색인정보는 연구 메타데이터 벨에서만 제공된다.

○ 벨 3 : 벨 2에 더하여 련 자료, 검색 조건에 한 메타

데이터로 이루어진다. 색인 정보는 데이터 수집 메타데이터

Page 25: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 21

벨에서 제공된다.

○ 벨 4 : 벨 3과 같지만 색인정보는 데이터 객체 벨까지

제공되고 데이터 객체의 매개변수까지 제공된다.

○ 벨 5 : 벨 4에 더하여 과제비, 사용 재료, 사용 시설 등의

항목을 포함한다. 기존의 시스템 에 메타데이터를 이러한

벨까지 다룬 시스템은 없을 것이다. 하지만 향후에 이러한

개념으로 개발되는 새로운 시스템은 이러한 벨까지 도달할

수 있을 것이다.

□ 합성이 더 높은 벨로 가면 갈수록 사용자에게는 더 많은

정보를 제공하게 된다. 입력하고 장하는 메타데이터의 항목

에 따라 벨의 수 이 정해지고 그 수 에 도달하게 되면 그

벨에 합하다고 언 할 수 있다. 그러므로 벨 1은 더블

린 코어 메타데이터와 같고 더블린 코어로 매핑할 수 있다.

□ 재 CSMDM을 인터넷으로 구 한 데이터포탈은 벨 2와

벨 3 사이에서 제공한다. 색인 정보는 매개변수와 함께 데

이터 수집 벨에서 제공한다. CSMDM에서 제안하는 메타데

이터로 구 하면 벨 4이상은 도달할 수 있다.

Page 26: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

22 그리드 컴퓨 기술

7. 모델 구축 예

□ CSMSM으로 구축한 웹 페이지를 데이터포탈이라고 명명

하 다. 2001년 3월에 시제품을 선보 고 2004년 12월에

버 3.6을 소개하 다. 시스템 구조의 설계는 UML(Unified

Modeling Language)라는 객체지향 다이어그램으로 도식화하

고 XML 언어와 데이터베이스를 사용하여 구 하 다. 이

모델을 사용하여 구축한 시설과 연구과제는 다음과 같다.

○ CCLRC 내부 시설

- ISIS : 성자 쇄를 한 Rutherford Appleton 연구소

- SR : 싱크로트론 방사선 출처를 한 Daresbury 연구소

○ CCLRC 외부 시설

- 독일 Hamburg에 있는 Max-Planck 기상 연구소

○ 외부 로젝트

- NERC가 재정을 지원하는 E-Minerals 과제

- EPSRC가 재정을 지원하는 E-Materials 과제

- Manchester 학의 My-Grid 과제

8. 결 론

□ CSMDM는 범학제 과학 분야의 연구를 통해 얻은 량의

Page 27: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 23

자료를 효율 으로 색인하고 유용하게 사용하기 해 계층

으로 하나의 데이터포맷을 정의하 다. 이 포맷은 포 이고

표 인 메타데이터 모델을 만들고자 시도하 다.

□ CSMDM은 지구 과학, 기상 과학, 바이오 인포매틱스, 양자

화학, 성자 쇄, 재료 과학 등에 용하여 자료 리에 유

용하다는 것이 증명되었다. 이를 계기로 다양한 분야에 용

하여 세계 인 표 이 되기를 희망한다.

□ CSMDM의 사용자에게 편리한 인터페이스를 제공하기 해

목록나열의 방법을 가능한 많이 용한다. 항목을 선정할 때

해당 값을 목록으로 보여주면 마우스로 클릭 하여 선택하는

방법으로 편리한 사용자 인터페이스를 제공하도록 개선한다.

다른 표 메타데이터로부터 련 아이디어를 계속 으로 공

하여 더욱 개선된 모델을 추구한다.

□ 향후 추진 방향으로는 시스템의 활용을 확장하기 해 XML

기술을 계속 으로 향상시키고 오라클, MySQL, PostgreSQL

등의 계형 데이터베이스를 지원한다. 한, 유사어나 동의

어에 한 연구와 다국어를 지원하도록 한다.

Page 28: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

24 그리드 컴퓨 기술

◃ 문가 제언▹

□ CSMDM(CCLRC Scientific Meatdata Model)은 2001년에 시

제품으로 구축된 메타데이터 모델로서 다양한 과학 분야의

연구 자료를 장, 상호 교환, 력 작업, 검색 등에 가장

한 데이터 포맷을 제공한다. 국내의 산ㆍ학ㆍ연에서 수행하는

연구개발 결과가 기 간에 공유하지 못하고 사장되고 있는

실정이다. 그 이유는 연구개발 주체들이 개발 결과를 공유할

동기부여가 되어 있지 않고, 메타데이터 모델 같은 실제 데이

터를 공유할 방법이 비되어 있지 않다. CSMDM의 모델을

국내 실정에 맞게 메타데이터를 구축하고 사용하면 연구 결

과를 공유할 수 있는 좋은 기회가 될 것이다.

□ 인터넷 환경의 속한 확산으로 정보공유에 한 요구가 증가

하고 있다. 그러나 정보공유의 가장 큰 걸림돌은 데이터의 의

미, 구문, 표 의 불일치를 해결에 있다. ISO/IEC 11179와

20943에서는 데이터 공유 교환을 한 근본 인 해결방안

으로 메타데이터 지스트리(Metadata Registry : MDR)에

한 표 화를 진행하고 있다. 최근에 구축하는 부분의 정

부나 기업의 정보시스템은 XML기술과 데이터베이스를 사용

하여 인터넷상에서 정보를 공유하고 업무를 처리하도록 설계

함으로 국내에서도 이러한 메타데이터 방법을 용하고 있다.

□ 국내에서 이공계 분야에는 과학기술부, 산업자원부, 정보통신

Page 29: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제2장 국 연구시설 리연구회의 과학 분야 메타데이터 모델 25

부, 보건복지부, 소기업청 등에서 국가의 연구개발비를 지

원하고 각 부처의 산하 기 인 평가기 에서 과제를 평가

리를 하고 있다. 과제 수 리 시스템은 과제를 제안할

때 제안하는 기 에서 직 산 입력을 통해 과제 련 내용

을 입력하도록 함으로 제안 과제에 한 데이터를 산화하

고 있다. 하지만 과제의 수행 결과는 평가기 에서 일부분의

자료만 리하고 있는 실정이다. 과제를 수행한 기 에서 개

발된 기술 자료를 입력하고 공유하도록 하면 국가 차원에

서 기술 자원의 활용을 극 화할 수 있다.

Page 30: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

26 그리드 컴퓨 기술

Page 31: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제3장 국에서의 e-과학 그리드 구축- 향상된 그리드 컴퓨 환경 27

제 3 장

영국에서의 e-과학 그리드 구축 -

향상된 그리드 컴퓨팅 환경2)

1. 시제품 길라잡이(prototype portal)

□ 기존의 HPC(High Performance Computing) 그리드 길라잡이

(grid- portal), 자료 길라잡이(data portal)와 정보 길라잡이

(info portal)들은 향상된 그리드- 산 환경을 조성해주는 웹

서비스(web service)와 그리드 서비스의 개발을 한 기반을

제공해 왔다.

□ 길라잡이 기술(portal technology)은 범 한 기능성에 근

을 보장해주는 유일의 속 으로 이용되고 있었다. 자료 길

라잡이 기술은 여러 메타데이터(metadata) 목록들을 검색하

게 해주고, 후 (backend) 장 자원 계기(SRB; Storage

Resource Broker)들과 연 시켜 다. HPC 길라잡이는 특수

2) 본문은 “Richards, A. et al, Building the e-Science Grid in the UK: Advanced

Grid Computing, CCLRC-Daresbury Laboratory, 2004, pp. 1~4”를 박경윤

문연구 원께서 분석 요약한 것입니다.

Page 32: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

28 그리드 컴퓨 기술

한 자원이나 응용을 탐색하고, 원격지의 그리드에 작업을 입

력시키는 기능으로 이용자가 컴퓨터에 속할 수 있게 한다.

정보 길라잡이는 근간 등록된 정보에 해 국 e-과학

(science) 그리드에 속시켜주고 있다.

□ 시제품 길라잡이들은 원래 독자 인 응용 로그램들이었으

며, HPC 길라잡이와 정보 길라잡이의 경우에는 C/C++, Perl

과 cgi 로그래 (programming) 방법들이 복합 으로 사용

지만, 자료 길라잡이는 J2EE 솔루션(solution)이 사용되어

개발 다. 이들 모두가 인터페이스나 표 (presentation) 계층

에서는 하 모듈(module)에 직 으로 연계되었다.

2. 자료 길라잡이

□ CCLRC(Council for Central Laboratory Research Council)의

자료 길라잡이는 국 CCLRC의 주요 연구소들과 유럽의 다

수 기 들에 있는 자료 자원의 콘텐츠(contents)를 탐구하고

속하기 해서 과학 자료의 다방면 메타데이터 모델을 이

용했다. CCLRC는 근간에 분자 수 의 환경과 같은 다수의

e-과학 로젝트들을 한 자료 길라잡이에 응시키고 있으

며, 이들이 스스로의 메타데이터와 자료 세트(set)에 장하고

속함과 동시에 세계의 기 들의 련 메타데이터와 자료

세트에 속되도록 하고 있다.

Page 33: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제3장 국에서의 e-과학 그리드 구축- 향상된 그리드 컴퓨 환경 29

□ 그 게 되도록 하기 해서 자료 길라잡이가 웹 서비스 기술

을 이용하여 재개발되었고, 다양한 서비스들이 e-과학 로젝

트 집단에 맞는 사용자 인터페이스나 시스템을 통하여 속

될 수 있게 다.

3. HPC 길라잡이

□ HPC 길라잡이는 이용자에게 원격지 자원들로 속 보장의

유일 지 을 마련해주고, 산 그리드의 이용을 간소화해주기

한 서비스에 기반을 둔 길라잡이로 개발되었다.

□ 핵심 길라잡이서비스는 Globus Toolkit version-2의 C API

(Application Program Interface)를 사용하여 로그램 되었

으며, 기능은 국의 e-과학 그리드의 국립 MDS(Multipoint

Distribution Service)를 통하여 이용자가 원격지 컴퓨터 자원

들에 있는 작업들을 입력시키고 통제하며, 한 자원들을

찾아내고, 원격지 컴퓨터 자원들과 원격지 자료 장소들과의

길라잡이 개별 ‘sandbox’ 지역을 통하여 자료를 송하도록

한다.

□ 시제품 길라잡이 서비스들은 웹 기반의 인터페이스(interface)를

통해서만 가능했었는데, IeSE(Integrated e-Science Environ-

ment : 통합 e-과학 환경) 로젝트의 지침에 따라 길라잡이의

기능이 재개발됨으로써, 이용자들이 자기 응용 로그램과

Page 34: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

30 그리드 컴퓨 기술

GUI(Graphic User Interface)들로 기능 기반의 길라잡이를 통

합하는 웹 서비스가 가능해졌다.

4. 정보 길라잡이

□ 정보 길라잡이는 그리드 자원과 사이트에 특별한 정보를 제공

하기 한 이용자 서비스에 기반을 둔 웹으로 개발되었고,

국 e-과학 MDS 서비스에서 뽑아낸 장 자료의 형태로 정보

가 제공된다. MDS를 통한 국 그리드의 황을 묻는 특별

기능도 이 길라잡이를 통한 웹 서비스에서 제공된다.

5. 통합 e-과학 환경(IeSE) 프로젝트

□ IeSE 로젝트는 길라잡이이나 응용 로그램들이 구축되어

이용되고, 서비스가 개발될 골격을 정의하는 데 목 을 두고

있으며, 각 길라잡이의 기능은 웹 서비스 방법의 이용으로 확

실히 공유될 수 있다. 이 서비스들에 기반한 계층을 정의함으

로써, 내재하는 이용 기술이 드러나지 않고, 다른 기술들의 이

용이 쉽게 구 되며, 소 트웨어의 개발과 이용에 ‘plug and

play’ 방법이 구 되도록 한다.

□ WSDL 문헌들을 통해 노출된 표 인터페이스들을 이용하면

자료 길라잡이의 핵심이 Java를 사용하여 개발되고, 톰캣 서

블릿 컨테이 (tomcat servlet container) 안에 있는 JSP 기술

Page 35: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제3장 국에서의 e-과학 그리드 구축- 향상된 그리드 컴퓨 환경 31

을 이용한 배치가 지속되도록 한다. Globus Toolkit 2와의 인

터페이스 하는 것을 포함한 다른 요구 사항들에 맞추기 해

서 HPC 길라잡이 핵심은 Perl과 C/C++ 기반의 컴포 트

(component)들과 웹 서비스 포장들을 제공하는 gSoap 도서

실을 활용하도록 하고 있다.

□ 이 게 함으로써 길라잡이의 골격들이 그리드 서비스들과 같

은 새롭게 생성되는 컴포 트들로 통합되거나, 이 시키게 된

다. 재 길라잡이들 간의 계는 두 길라잡이들의 기능을 투

명하게 활용할 수 있는 곳에서 길라잡이 하나에 단 한번

인증을 제시함으로써, 다른 물리 서버들로 이송될 유일의

사인(sign) 같은 특징을 이용자에게 보이는 것이다.

□ 길라잡이들이 서로 화할 수 있으므로, 자료 길라잡이를 통

해서 선정된 자료가 HPC 길라잡이의 통제 하에 컴포 트들

로 송될 수 있다.

□ 개발 단계에서는 가시 길라잡이 인터페이스들이 그리드

산 환경의 핵심 컴포 트들의 정상에 있는 엷은 표 계층을

단지 표시하는 것으로 치될 수 있었다. 고객에 맞추어진 웹

기반의 인터페이스는 핵심 길라잡이 서비스들로부터 특별한

응용들에 이용되도록 배정되어 왔다. 더욱이 그리드 산 환

경의 핵심 컴포 트들과 호환되는 GUI와 응용 로그램들을

그들 이용자들이 개발하도록 하고 있다.

Page 36: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

32 그리드 컴퓨 기술

□ 길라잡이 서비스들은 자료와 원격지 자원들에의 보장되는

속 으로 아직도 이용되고 있고, 웹 서비스를 통하여 원래의

포맷(format)으로 자료 출력이 되는 곳에서 암흑상자(black

box)형의 컴포 트를 제시함으로써, 이용자 이송의 응용과 인

터페이스에 의해서 포맷되도록 하고 있다.

□ 이 디자인방법을 사용하여 특수 로젝트의 요구사항들에 맞

출 뿐 아니라 코드(code)의 재사용을 증진시키려는 고객 특성

화된 융통성이 마련된다. 개별 컴포 트들이나 길라잡이 서비

스들은 특수 작업에 가장 합한 로그래 언어를 사용하여

아직도 개발될 수 있거나, 기존의 요구 사항들이나 로젝트

의 선행 요건들에 응해가고 있다.

□ 핵심 길라잡이 서비스들에서 분리된 고객 특성화 이용자 인터

페이스들의 , 2가지가 Grid Technology Group에 의해 근간

에 개발 이다. 한 가지 솔루션은 Jetspeed 웹 길라잡이 기술

과 portlet들의 개념을 사용하는데, 각 portlet에는 웹 서비스

인터페이스를 통하여 핵심 길라잡이 서비스들과 통신하는 본

질 응용인 특수 기능이 포함된다.

□ 다른 체 솔루션도 역시 Grid Technology Group에 의해서

개발되고 있는데, 콘텐츠 리 시스템들을 사용하여 이용자

길라잡이 인터페이스로 동작시키는 것이다. 기본 으로 콘텐

츠 리 시스템은 지역 이용자 리에서 온라인(online) 도우

Page 37: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제3장 국에서의 e-과학 그리드 구축- 향상된 그리드 컴퓨 환경 33

미 시스템까지 범 의 기능을 제공하는 변화 가능의 모듈 인

터페이스를 제공한다.

□ 이 게 함으로써 이용자에게 핵심 길라잡이 서비스들의 이

에 추가하여 부가가치 서비스들이 제공되는 이 이 있다. 기

술된 모듈들에 응시킴에 의해서 콘텐츠 리 시스템은 이

용자 인증과 길라잡이 웹 서비스들로의 속과 통제를 해

서 기존의 핵심 길라잡이 서비스 구조들과 함께 작업하도록

만들어졌다.

□ 이 시스템은 PHP와 SOAP(Simple Object Access Protocol)

를 이용하여 웹 서비스들에 속하게 되고, 표 계층에서 콘

텐츠들을 분리하여 웹 서비스를 갱신(update)하여 가능한 곳

에서 길라잡이 서비스 개념을 이용할 수 있도록 해 다.

◃ 문가 제언▹

□ ‘e-과학’이란 인터넷으로 분산된 세계 동 작업을 수행하는

한 규모의 과학을 지칭하며, 그리드는 가상 기 들의 통

합 구조 개념으로 Ian Foster와 Carl Kesselman이 1998년 처

음 제안했다. e-과학 그리드라는 인 라(infrastructure)를 통

하여 세계 곳곳에 흩어져 있는 자원들(고성능 컴퓨터, 용량

데이터베이스, 첨단 장비 등)을 고속 네트워크로 유연성 있

게 연동하고 공유하며 사이버 공간에서 업 연구나 작업을

Page 38: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

34 그리드 컴퓨 기술

가능하게 해 다.

□ 국 Darebury에 소재한 e-과학센터의 하나인 CCLRC에서

HPC 길라잡이와 자료 길라잡이 간의 동 작업을 통해 향상

된 그리드- 산 환경이 개발되었고, 웹 서비스와 그리드 서비

스들의 개념들이 이용되어 양 길라잡이들의 핵심 컴포 트들

이 구성되고, 공동 개발을 한 인터페이스가 마련되도록 했

다. 이 자료는 2003년의 ‘Portal and Portlet Workshop’에서

발표된 내용이다.

□ 국내에서는 ‘차세 인터넷 기반 구축을 한 국가 그리드 기

본 계획’이 2001년에 수립되었고, 그리드의 핵심 기술인 그리

드 미들웨어(middleware)와 멀티미디어 3차원 라우징 기술

(browsing technology)을 개발하도록 하여, 2005년경에 상용

화를 목표로 추진 이다. 이 사업을 통하여 국내 기존의 슈

퍼컴퓨터와 주요 산 장비들의 활용도가 높아지고, 다양한

그리드 응용 서비스들이 등장할 것으로 망된다.

Page 39: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제4장 치과의료 분야에서 Grid 기술과 Post Virtual Reality 35

제 4 장

치과의료 분야에서 Grid 기술과

Post Virtual Reality3)

1. 머리말

□ 일본의 치과의료 분야에서도 최근에 진료기록카드와 환자자

료 등의 산화가 이루어지고 있고, 의사 간에 자료의 공유와

재이용의 추세도 보편화되고 있다. 뿐만 아니라 질병의 가시

화 기술의 요성도 깊이 인식된다.

□ CAVE 시스템은 3D 상을 가상공간에서 투 하는 3차원

가상 실 시스템으로 미국 Illinois 학의 자가시화연구소

(Electronic Visualization Laboratory)에서 고안한 장치이

다. 일본 Osaka 학 사이버미디어센터(CMC : Cyber Media

Center)에서 CAVE 시스템을 도입하여 KGT사의 조로 고

품질의 컨텐츠 개발에 나섰다.

3) 본문은 “野崎ー德, 齒科醫療分野におけるgrid技術と Post Virtual Reality,「可視

化情報」, 24(95), 2004, pp. 234~239”를 박경윤 문연구 원께서 분석 요약한

것입니다.

Page 40: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

36 그리드 컴퓨 기술

□ CMC에서는 의료정보활용의 일환으로 CAVE 연구회를 개최

하고, 치과의료 분야에서의 가시화의 기술과 망에 해서

이 에서 소개한다.

2. CAVE 연구회의 강의 내용

□ CMC-CAVE 연구회에서 4개 분야에 한 강의가 개최되었

고, 그 내용에 해 다음과 같이 요약되었다:

○ CAVE와 범용 가시화 소 트웨어 AVS의 개요

- Yoshikawa Chihito((주)KGT)

- 내용 : AVS와 CAVE의친화성 CAVE의 구조

○ 가시화 자기학과 CAVE에의 디스 이

- Ido Shunji(Saitama공업 )

- 내용 : Saitama 학과 Saki구슬공업 학에서의 CAVE의

이용과 CAVE연구회의 소개

○ Virtual Heart : 심장 기 상의 포 시뮬 이션과 가시화

- Nakazawa Kazuo(국립순환기병센터-연구소)

- 내용 : 일본에서의 사망 원인 1 인 심장질환은 환자의

MRI(Magnetic Resonance Imaging) 자료에서 3D 상을

구축하고, 심장의 에 한 상미방정식을 슈퍼컴

퓨터 SX6으로 푼 결과를 OpenGL로 가시화한 애니메이션

Page 41: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제4장 치과의료 분야에서 Grid 기술과 Post Virtual Reality 37

으로 만들었다. 이러한 과정을 통해 으로 안 보이는 심

장의 박동 상을 음향 효과와 함께 가상 실의 테두리를

뛰어넘은 자료를 볼 수 있었다.

○ 해면골의 멀티스 일 응력해석과 가시화

- Takano Naoki (Osaka 학교)

- 내용 : 골조의 병의 병리실태를 해명하는데 골량 구조를

상으로 한 시뮬 이션 결과를 가시화하는 것이 필요하

다. CAVE의 몰입 감각으로 이러한 필요성에 부응될 것으

로 망되고 있다. 그러나 4면의 스크린으로 입체시 되는

상에 해 좌우 합계 8화면의 묘화를 해서는 상당한

가시화 자원이 필요하다. PC/AT 클러스터에 의한 가시화

자원도 용 가능하나, 앞으로 수십 배의 가시화 자원이 요

구되고 있다.

3. 치과의료 분야와 가시화

□ 지 까지의 가시화 기술은 더링 정도, 속도, polygon 수 등

으로 외형의 아름다움과 정확함을 추구하는데 이르 으나, 자

연계의 아름다움을 외형의 색이나 형태로 흉내 냄으로써 인

공 실감을 얻는 데는 어려움을 겪고 있다.

□ 지 까지 연구된 한 가지 에서 “우수이(うす·い, ‘얇은’이라

는 뜻의 일본어)”라고 이야기할 때의 기류의 흐름을 CMC의

Page 42: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

38 그리드 컴퓨 기술

슈퍼컴퓨터 SX5로 계산해 가시화했다. 이 시뮬 이션은 치과

에서 의치를 만들어 넣은 환자가 잇몸의 마찰음을 발음하기

힘든 이유를 분석하기 한 것이다. 에 보이지 않는 기류의

정보가 가시화되어 치과의사에게 진단 자료로 제공되었다.

○ 이 시뮬 이션은 약 650만 메쉬(mesh)로 계산되었는데, 만일

이를 170만 메쉬로 계산한다면 이와 같은 상세한 결과를 얻지

못 한다. 여기서 650만 메쉬의 하한선은 슈퍼컴퓨터의 한계에

서 나온 것이 아니고, 32bit OS에 있어서 한 가지 애 리 이

션에 사용 가능한 기억용량 2GB에 의한 것이다.

□ 650만 메쉬의 결과를 바탕으로 Powell 음원(音源)을 구하기

해 공기 흐름의 혼란부분에서 소리의 미세한 소용돌이끼리

의 간섭에 의한 압력변동의 가시화로 찰된다. 이러한 유체

해석 시뮬 이션으로 공기의 흐름이 가시화됨으로써 보다

실감 있는 물리 법칙이 찰될 수 있었다.

□ 앞으로의 가시화 방향에서는 페타바이트를 넘는 자료의 가시

화와 고정 의 수치계산에 의한 가상 실의 구 등이 있다.

특히 CAVE로는 정도 높은 물리 상의 시뮬 이션으로 가상

실에서 실에 가까운 장감을 얻는 묘미가 있다. CAVE

는 계산자원을 확장하여, 컨텐츠의 술성이나 개성을 향상

시키는 규모 시뮬 이션으로 많은 공헌을 할 것으로 망

된다.

Page 43: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제4장 치과의료 분야에서 Grid 기술과 Post Virtual Reality 39

□ CAVE 고안자인 DeFanti 등은 슈퍼컴퓨터나 고속네트워크를 이

용한 가시화로써 다양한 응용연구를 했으며, 재는 Grid 환경

의 네트워크 부분에 WDM(Wavelength Division Multiplexer)을

이용해 속 허 에 MEMS 스윗치를 사용하는 고속 가시화

용 가상 슈퍼컴퓨터를 구축하는 “OptiPuter121” 로젝트를 수

행 이다. CAVE로 장감을 얻기 해서는 고속의 가시화

장치가 필요한데, 충분한 디스 이 속도를 재로서는 얻을

수 없다. 즉 수십 GB가 넘는 텐서(tensor) 자료를 볼룸 더링하

는 시계열 애니메이션을 하는 데는 OptiPuter와 같이 가시화를

한 자원이 필수 이다.

□ 이와 같은 가상 슈퍼컴퓨터 시스템이 SuperSINET에 실장된

슈퍼컴퓨터 네트워크가 이미 이용 가능하며, 향후 MEMS 스

치와 같은 고속 스 칭이 가능한 환경을 정비해 CAVE로

페타바이트 의 자료를 가시화하려는 구상이 진행되고 있다.

이 시스템에서는 치과 의료에서 범용성인 구조로 되어 있고,

곧바로 다른 유체 계산이나 구조해석에 응용될 것이다. 상세

한 소용돌이의 구조나 시간의 경과에 따른 소용돌이의 거동

이 찰되어, 장감에 의해 임의의 역에서의 3차원 인 구

조의 변화가 악되기 쉬워, 이 시스템은 유체연구의 새로운

툴(tool)로 단된다.

□ 시뮬 이션 결과는 필요에 따라 특정 포맷으로 축 된다. 의료

분야에서는 결과를 비교 조하는 경우가 많아, 결과에 부가된

Page 44: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

40 그리드 컴퓨 기술

메타데이터(meta data)에서 요한 정보들이 제공된다. 치과

의료에서 발음에 화감을 호소하는 환자의 경우는, 만약 그

환자의 구강형태와 유사한 과거의 자료를 검색할 수 있으면

굳이 시뮬 이션하지 않아도, 진단을 한 어느 정도의 단조

건을 얻을 수 있다. 의료분야에서는 EBM(Evidence-Based

Medicine)이 요구되며, 증거(evidence)를 제공하는 정보로는

임상 자료의 축 과 온토로지(ontology) 검색에서 얻어진다.

이에 추가하여 미래 측 자료로써 시뮬 이션 자료가 앞으로

필요하겠다.

□ 치과의료 분야의 경우에는 비용 인 측면이 실 이어야 함

이 필수 요건이어서, 계산자원과 기억용량자원 두 측면에서

효율화가 필요하며, 특히 자 진료기록카드 시스템의 정착

후 데이터베이스를 이용한 시뮬 이션으로 사회 체의 의료

비용을 효율화함이 바람직하다. 가까운 장래의 치과 의료에서

는 자화된 정보와 그를 바탕으로 한 물리 시뮬 이션에 의

한 미래 측의 결과의 보조로 치과의사가 질환을 진단하고

치료하게 될 것이다. 따라서 치과 의료에서도 충분한 계산자

원과 기억용량자원을 용이하게 이용할 수 있는 환경 구축이

필요하다.

4. 두 종류의 Grid

□ Grid는 자료의 공유, 자료 속에의 투과성, 거 한 자료 축

Page 45: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제4장 치과의료 분야에서 Grid 기술과 Post Virtual Reality 41

의 가능성의 특성에서 효율성을 보인다. 한 공 인 인증국

(CA)의 설치로 PKI(Public Key Infrastructure) 인증에 의해

한 보안과 정보시스템의 리가 가능하며, 다수의 PC를

동시에 이용해 규모의 계산과 가시화가 가능하다. 특히

Grid 기술을 이용하면 슈퍼컴퓨터와 같은 수 의 성능이 은

비용으로 제공될 수 있다.

□ 각 의료기 에서는 Grid 기술로 유휴 컴퓨터를 효율 으로 이

용할 수 있다. 재 Grid 환경 아래 거 한 메모리를 요구하는

응용시스템을 구축 이지만, 유휴 PC node를 네트워크 상에

서 검색하고, 어느 PC node에 작업을 제출하는 스 듈링의

문제나 여러 기 의 복수의 클러스터나 SMP(Symmetrical

Multi-Processing) 클러스터 등에 단일 작업을 제출했을 경우

에 생기는 Private IP에 의한 MPI 통신 에러(error)의 문제 등

을 해결해야할 과제들이 남아 있다. 그러나 이질 환경에서

도 충분한 계산 속도를 보증하는 스 듈러의 개발이나 각

node의 IPv6화 등의 문제 해결은 곧 가능해지리라 망된다.

□ 인류에 공헌할 수 있는 Grid에 의한 가시화 기술 개발 방향에

해서는 ① 고속(10GB/sec) 네트워크 역을 이용해 CAVE

와 같이 4면 스크린에 상을 보이는 “극한 Grid에 의한 첨단

가시화”와 ② 비용 비 실용 가시화 서비스의 “풀뿌리

Grid에 의한 가시화”이다.

Page 46: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

42 그리드 컴퓨 기술

5. 마무리

□ CMC-CAVE 연구회는 센터가 보유한 자원을 이용해 얻을 수

있는 컨텐츠를 인류에게 보다 공헌할 뜻있는 컨텐츠로 향상시

키는 것을 목표로 했다. 따라서 형 규모의 계산 시뮬 이

션 결과를 다양한 정보기술로 구사해 고속으로 가시화하는

가상 실감과 가시화 컨텐츠를 만들어내려 한다. 특히 의료

분야에서 고속으로 고정 도의 가시화 시스템을 개발하고,

“비용 비 효율 인 의미 있는 가시화=Post Virtual Reality”

를 구 하려 한다.

◃ 문가 제언▹

□ Grid 기술은 여러 곳에 산재한 컴퓨터와 장 자원들을 하나

의 네트워크로 묶어 제어할 수 있는 가상컴퓨터를 구성하는

기술이다. Grid란 진공 의 음극과 양극의 간에서 류의

흐름을 통제하는 ‘격자(格子)’에서 유래한 용어인데, 기존의

웹(Web)과 차세 인터넷 사이에 징검다리 역할을 하는 격자

즉 Grid라는 뜻으로 사용되고 있다. 이 개념은 미국 Chicago

학교의 Ian Foster 교수가 처음 제안하여 1998년부터 Grid

시스템이 구축되기 시작했고, 한국에서도 2001년 9월에 Grid

포럼이 발족되고 본격 인 연구개발이 시작되었다.

□ 인터넷은 이용자가 모든 정보를 담은 서버에서 필요한 정보를

Page 47: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제4장 치과의료 분야에서 Grid 기술과 Post Virtual Reality 43

얻는 직렬구조인 반면, Grid는 여러 사이트를 동시에 연결해

정보를 주고받을 수 있는 병렬구조로 된다. 따라서 Grid 기술

로는 한 사람이 찾은 자료를 여러 사람이 동시에 보면서 서로

의견을 나 수도 있고, 한 의 컴퓨터가 여러 곳에 흩어져

있는 컴퓨터를 원격조정하며 복잡한 계산을 나 어 시킨 뒤

이들을 다시 하나로 합칠 수도 있다. 그러므로 슈퍼컴퓨터처

럼 고속연산과 많은 양의 자료처리가 동시에 가능해 나노기술

(NT), 생명과학(BT) 등 다양한 분야를 획기 으로 발 시킬

수 있는 네트워크 기술로 평가받는다.

□ 치과의료 분야에서의 시뮬 이션과 가시화 기술은 비용 비

측면에서 실 이어야 함이 필수여서, 새로운 Grid 기술인

Post Virtual Reality의 개발에 따른 기여가 망되고 있다.

그러나 이 방향에 해서도 아직 해결해야할 과제들이 다수

남아 있다.

Page 48: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

44 그리드 컴퓨 기술

Page 49: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제5장 환경 분자 처리 : 시뮬 이션 자료와 주석의 리 45

제 5 장

환경 분자 처리 : 시뮬레이션 자료와

주석의 관리4)

1. 머리말

□ e1Minerals라는 “분자 수 으로부터의 환경” 로젝트는

NERC 지원의 e-Science 시범사업인데, 핵폐기물의 장과

오염 같은 핵심 환경 과제들에 연 된 기본 인 과학 문제들

에 이 맞추어졌다. 이 연구는 실제 시스템 규모들을 요

구된 정확성으로 처리하는데 필요한 산능력의 열쇄와 분

산된 가상 기구에서 방 한 양의 자료를 다루는데 련되는

자료 리 과제들의 열쇠로 풀어야할 숙제다.

□ 이 숙제의 핵심 하나는 분산된 커뮤니티(community)를 해

서 자료의 생성과정 각 단계를 활용할 유효하고 종합 인 인 라

(infrastructure)를 마련하는 것이다. 이 목 으로 여러 조각의 미

들웨어(middleware)들이 개발되었음이 이 논문에 제시되었다.

4) 본문은 “Lisa Blanshard et al, Environmental Molecular Processes: Man-

agement of Simulation Data and Annotation, CCLRC-Daresbury Laboratory,

2004, pp. 1~8”을 박경윤 문연구 원께서 분석 요약한 것입니다.

Page 50: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

46 그리드 컴퓨 기술

2. 자료 발견

□ 과학 자료 부분이 시설의 일 장소나 잡지, 개인 장비

는 컴퓨터 시설에 형 으로 장될 뿐 아니라 형태도 재

사용되는 문헌 일 는 표 포맷(format)으로 되어 있다.

이런 다양한 자료들을 찾아내는 공통 툴(tool)을 마련하는 것

은 재로써 주요 도 이다. 자료가 카탈로그(catalogue) 되고

속이 가능하다면 요즘의 이용자는 해당 시설에 로그온(log

on)하면 된다.

□ 지 까지의 결 은 출력 일들이 원래 다수의 장치에 분산되

어 있으면서도, 카탈로그가 안 되어 있고, 다른 연구자들에게

는 이용이 안 되므로 다른 곳에서도 같은 산 작업들이

반복되는 불필요성이다.

□ 해결되어야할 주요 과제 두 가지 , 첫째는 로젝트의 결과

들이 개인 별로 장되어 있어 다른 회원들에게 이용이 안 된

다는 이고, 둘째는 다른 커뮤니티의 이용자들이 자료를 찾

거나 내려 받을 수 있는 속 이 몇 개밖에 안 된다는 이

다. 개인별 자료들의 리를 해서 일들과 장자원 개자

(SRB: Storage Resource Broker)에 있는 연결 을 기술하기

해서 분산된 일 장소와 메타데이터(metadata)의 계

형 자료에 한 SRB 버 (version)이 이용되었다. 요한 작

업은 여러 시설에 산재된 이질 인 자료 자원들을 통합할 수

Page 51: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제5장 환경 분자 처리 : 시뮬 이션 자료와 주석의 리 47

있는 미들웨어의 개발이다.

□ 이를 해서 CCLRC(Council for Central Laboratory of the

Research Councils)에서는 연결된 모든 시설들에 있는 주제

들을 통한 병렬 탐색 기능의 자료 길라잡이(Data Portal)가

개발되었다. 최근의 자료 길라잡이 기술은 일에 있는 자료

를 내려 받을 뿐 데이터베이스(database)에서는 안 된다. 이

번에 해결책으로 데이터베이스의 기록과 SRB의 통합을 이용

하는 방법이 모색되었다.

□ 한 가지 특별한 방법은 각 시설이 그들 일을 기술하는 고유

의 계형 자료 모델을 갖는 것인데, 이 모델에 따라 각 시설

에서 SQL(Structured Query Language) 결과들의 송용 공

통 XML(eXtensible Markup Language) 포맷으로 바꾸게 하

는 XML 포장띠(Wrapper)가 개발된다. 한 XSLT를 이용하

여 결과들이 web 페이지에 여러 표 포맷으로 표시되도록

한다.

□ 다른 방법들로는 시설의 web 사이트에서 자료를 내려 받고, 유

사한 입력 일을 수정하거나 잡지에서 복사하는 것들이다. 명

심해야할 은 가끔 자료가 어떤 고유의 포맷으로 검색되어 특

별한 코드(code)에 맞는 포맷으로 변환되어야한다는 것이다.

입력 자료와 여러 과학 코드로부터의 출력 자료를 유지하기

한 포맷으로 CML(Chemical Markup Language)가 이용된다.

Page 52: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

48 그리드 컴퓨 기술

3. 자료 검색

□ 자료 분석 이 에 입력 자료가 컴퓨터 노드(node)로 송해야

되는데, GridFTP를 통해 자료 길라잡이로부터 직 송될

수도 있다. 더욱이 변환도 필요할지 모르고, 한 이 의 계산

에서 얻은 출력 일들도 새 작업에서 수정되어, 이용자의 장

비에 수록된다.

□ 이번 인 라의 핵심 강 하나는 컴퓨터 노드나 시설과 SRB

리 일 장소 간에 일들을 송할 수 있다는 이다.

HPCx와 같은 로젝트 아닌 시설에서는 홈 디 토리(home

directory)에 있는 S-commands가 탑재되거나 공용 버

(public version)이 일반 용도로 탑재된다.

□ 처음에 이용자가 자기 장비에 일들을 갖고 있다면, 그들을

SRB에 올리기 해서 많은 SRB 고객 툴 의 하나를 이용할

수 있다. e-Minerals의 minigrid에 있는 장비 하나에 작업을

제출한 후, SRB로부터 수행 디 토리(directory)로 직 일

들을 내려 받기 해 처리 스크립트(script)는 S-commands

- SRB의 command line 유틸리티(utility)를 이용한다.

4. 자료 분석

□ 자료 생성과정의 다음 단계는 자료의 조작을 수행하는 자료

Page 53: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제5장 환경 분자 처리 : 시뮬 이션 자료와 주석의 리 49

분석이다. e-Minerals 로젝트의 내용에는 자료에 있는 하

나 이상의 과학 코드(code)를 이행하거나 일련의 출력

일들을 만들어내는 작업이 자료 분석에 포함된다. 이런 작업

들은 넓게 보아 HTC(High Throughput Computing) 는

HPC(High Performance Computing)의 응용들로 분류된다.

□ HTC 응용들을 해서 로젝트는 다수의 Condor Pool들을

설치했는데, 이들 가장 우수한 것은 최근 960가지 장비

들로 구성된 UCL pool이다(상세한 내용은 “Grid Tool

Integration within the e-Minerals Project” 논문 참조).

5. 결과들의 저장소

□ 자료들 모두가 최근에는 평 일로 작성되므로, 로젝트

는 일들의 장을 한 다수의 일 서버들을 국 내 여

러 장소에 갖고 있다. San Diego 슈퍼컴퓨터 센터에서 개발

된 SRB가 이들 균질하지 못한 자료 자원들에 속시킬 단일

지 을 제공하도록 선정된다. SRB Client는 SRB 서버에 요

구사항들을 송하는 이용자 인터페이스를 제공하는 최종 이

용자 툴이다. 세 가지 이행 차가 있는데, 즉 command line

‘S-commands’, MS Windows GUI ‘InQ’ 는 Web 기반의

‘MySRB’들이다. 근래에 MySRB 서버 구성성분이 추가되어,

엷은 client를 통해 장소에 모든 속이 가능해졌다.

Page 54: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

50 그리드 컴퓨 기술

□ S-commands UNIX 형 툴은 산 분석의 수행에 늘 따라다

니므로 가장 잘 쓰이고 있다. 후처리 스크립트 한 SRB로부

터 컴퓨터 노드로 입력 자료를 송할 수 있을 뿐 아니라

SRB에 있는 이용자 선정 디 터리로 결과들을 올리기도 한

다. 로젝트가 아닌 시설에서도 이용자들은 S-commands를

이용하여 작업이 끝난 후 자료를 올릴 수 있다.

6. 자료 주석과 출판

□ 자료 생성과정의 마지막 단계들은 주석과 출 이다. 자료

일들은 후처리 스크립트들이나 client 툴들을 통해 SRB로 올

려지지만, 생성의 배경과 방법을 기술한 련 메타데이터에

주석들이 붙여지지 않는다면 자료의 가치는 재빨리 소멸될

것이다. 후에 자료 발견 과정 다른 이용자들에 의해 자료

일들이 검색되게 하는 데는 주석 단계가 필수 이다.

□ 메타데이터는 자료 일들의 배경 정보로써 가, 어디서, 언

제, 어떻게 자료 작업을 했던가하는 내용들이며, 다양한 과학

분야에서 사용될 수 있는 계 형 데이터베이스 구조로 되었

다. dataset(자료 셋)에는 일들의 디 터리 정보와 물리

소재지가 들어 있고, 이들은 이름, 시작과 종결 일자 기원

을 기술한 study(연구 황)로 묶 다. 이것은 한 연구자들

의 상황들을 은 person 표에 있는 사람들에 연결되고,

각 study에는 topic(주제) 표에 있는 련 카테고리(category)

Page 55: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제5장 환경 분자 처리 : 시뮬 이션 자료와 주석의 리 51

들의 목록이 있다. 자료 길라잡이 이용자들은 연구 황들과

자료 셋들을 찾는데 주제들을 이용하므로, 가 많은 련

주제들을 뽑아내는 것이 요하다.

□ 일들에 물리 소재지에 따른 주석을 달기 해서 로젝트

에 한 메타데이터의 카탈로그를 만드는데, 에 기술한 구

조가 사용되었다. 메타데이터 편집기로 개별 인 산 시뮬

이션(computation simulation)들은 연구 황들로 묶이고, 추후

에 자료 길라잡이를 통해 검색되는 주제들로 연계된다. 메타

데이터를 출 하는 마지막 단계로 자료 생성과정이 마감된다.

7. 구 조

□ CCLRC에 있는 앙 SRB 소 트웨어와 데이터베이스는

Cambridge와 London에 있는 각 일 서버의 SRB 소 트웨

어에 연계되며, 이용자들은 자료 일들을 올리거나 내려 받

고 디 터리들에 정돈할 수 있다. 필요시 이용자들은 메타데

이터 편집기를 통하여 연구 황과 자료 셋들의 정보를 만들

고 SRB에 있는 디 터리들에 자료 셋들을 연계하여 그 일

들을 함께 이용할 수 있다. 다른 이용자들도 자료 길라잡이를

통하여 메타데이터를 열람하고 그들을 내려 받을 수 있다.

Page 56: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

52 그리드 컴퓨 기술

8. 요 약

□ 이 논문에는 자료 생성과정 체에 한 한 가지 가능한 구조

가 제시되었다. 이 구조의 강 은 이용자들이 여러 종류의 툴

로부터 가정과 작업장과 컴퓨터 노드들에서 자료들을 속시

킬 수 있다는 이다. 더욱이 자료는 언제나 이용 가능하고,

보안되어 있으며, 백업(backup)되는데, 이런 은 이 에 불

가능했었다.

□ 어려웠던 일들은 이용자 커뮤니티 안에서의 변경과 이용자

들의 자료 주석에 한 항이 있었으나, 많은 컴퓨터 시설

들이 자료 송에 직 다른 장비를 사용하지 않고 SRB를

이용하도록 함으로써 개발을 진 시킬 수 있었다. 특히

Linux는 많은 이용자들이 선호하는 랫폼(platform)이기

때문에, S-command 인터페이스가 리 이용되었다. 앞으로

메타데이터를 만들도록 독려할 방안이 필요하다.

◃ 문가 제언▹

□ 오염물의 환경 이동, 개선 략의 개발, 고 방사성 폐기물

의 함량 등과 같은 많은 환경 문제들에는 분자 수 의 기본

메커니즘과 과정들에 한 이해가 요구된다. 분자 수 의

산 시뮬 이션(simulation)으로 이러한 과정들에 한 이해에

상당한 발 이 이루어질 수 있으며, 새로 개발되는 Grid 기술

Page 57: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제5장 환경 분자 처리 : 시뮬 이션 자료와 주석의 리 53

로 실제 조건들에서 범 한 물리 화학 라미터

(parameter)들을 포함한 시뮬 이션이 가능해지고 있다.

□ e-Minerals 로젝트에서 많은 과학자들이 공동으로 참여하

여 환경과제들의 분자 시뮬 이션 기술을 개발하고 있다. 이

일환으로 여러 가지 미들웨어(middleware)들이 개발되어 분

산된 커뮤니티(community)에서 균질하지 못한 자료들의 생

성과정에 활용되는 유효하고 종합 인 인 라(infrastructure)

가 제공되고 있다.

□ 국내에서도 정보통신부의 지원으로 한국과학기술정보연구원

에서 한국형 Grid 미들웨어 패키지가 독자 으로 개발되어,

세계에 분산돼 있는 첨단 연구 장비와 장장치, 자료 등

을 시간과 공간의 구애 없이 자신의 연구실에서 이용할 수 있

게 되었다. 이 기술 개발로 국내 R&D 주기가 획기 으로

어들고, 고가의 첨단 연구 장비 구입에 투입되는 엄청난 비용

이 약될 것이며, 더욱이 세계 연구자의 업이 필요한

국제 공동 연구과제들이 탄력을 받으리라 망된다.

Page 58: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

54 그리드 컴퓨 기술

Page 59: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제6장 CCLRC 자료 길라잡이를 이용한 자료 리 55

제 6 장

CCLRC 자료 길라잡이를 이용한

자료 관리5)

1. 머리말

□ 과학자들은 별다른 인 라(infrastructure)의 지원 없이 근래 세

계 곳곳에 있는 모든 실험 자료와 컴퓨터와 분석시설들을 수동

으로 연계시키고 있다. 앞으로는 과학자들이 최 의 작업 환경

에서 이러한 자료 인 라와 연계된 서비스들을 더욱 쉽게

선택할 수 있는 기능들이 그리드(Grid)기술에 의해 제공될

망이다. 선택사항들에 한 그리드 속은 고객 맞춤 이용자

지정 길라잡이(portal)들을 통하여 부분 이루어지게 된다.

□ 재 컴퓨터 자료시설 이용자들에게 통합 솔루션의 구축

블록들을 제공하기 해서 CCLRC(Council for Central

Laboratory of the Research Councils)의 여러 로젝트들이

5) 본문은 “G Drinkwater, Data Management with the CCLRC Data Portal,

CCLRC-Daresbury Laboratory, 2004, pp. 1~7”을 박경윤 문연구 원께서 분

석 요약한 것입니다.

Page 60: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

56 그리드 컴퓨 기술

선정되었다. 이 로젝트들에서는 높은 수 의 과학 그리드

응용을 지원할 미들웨어(middleware) 구성 요소들을 조립하

는 데 기술들이 어떻게 이용되는지를 보여주게 된다.

□ 자료는 그리드 는 e-과학(www.reseat.re.kr, 박경윤, 2005

참조) 개발 성공에서 추 역할을 한다. 다양한 내용의 분산

되고 균질하지 못한 정보/자료 원천들을 가상 으로 인출하

거나 송함이 필요하며, 여기에 도 해야 할 3가지 주요 과

제들로 ① 자료 속 능력, ② 자료 송 ③ 개인 자료의

리가 있다. ① 자료 속 능력은 소재지나 콘텐츠(contents)

를 기술한 형태의 사 지식 없이 정보/자료의 소재를 악하

여 속시키는 능력이고, ② 자료 송은 다량의 자료를 인터

넷으로 송하는 문제며, ③ 개인 자료의 리는 그리드 환경

에서 과학자들에 의해 만들어지는 자료들의 분산 문제인데,

개별 과학자들이나 연구 그룹들을 해 자료의 행방을 추

해주는 새로운 방안들이 요구된다.

□ 황

○ 일반 인 연구에서는 일부 자료들로 시작해, 분석이 수행된

결과로 더 많은 자료들이 만들어지고, 만들어진 결과들이

장되며, 발표나 여러 곳으로의 배포를 해 어떤 형식의 주석

들이 이 결과의 자료들에 붙여진다.

Page 61: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제6장 CCLRC 자료 길라잡이를 이용한 자료 리 57

○ CCLRC 안의 자료 리는 ‘분자 수 의 환경(e-Minerals)’과

‘복합 물질 시뮬 이션(e-Materials)’이라는 2개의 로젝트들

에서 최근 이용되고 있다.

○ 이 자료 리는 자료 길라잡이와 자료 삽입 길라잡이라는 2개

의 웹 서비스 기반 길라잡이들을 이용하여 달성된다. 자료 길

라잡이는 개인 는 아카이 (archive)된 자료의 물리 소재

를 리하기 하여 여러 분야의 자료와 균질하지 못한 원천

자료들을 효율 으로 기술한 메타 스키마(meta schema)

San Diego 슈퍼컴퓨터센터(San Diego Super Computing

Center; SDSC)의 장자원 개인(Storage Resource Broker;

SRB)에 높은 수 의 속을 한 것이며, 기존의 자료 일람

표 시스템과 연결되어 있다. 자료 삽입 길라잡이는 자료를 시

스템으로 불러 오고, 자료에 주석(annotation)을 단다.

□ 자료 길라잡이 구조

○ 최근 버 (version)의 자료 길라잡이는 모듈로된(modular)

웹 서비스 모델을 사용하고 있어, W3C에 SOAP(Simple

Object Access Protocol)의 입력하여 Apache's Axis를 수행

함으로 성취된다. SOAP은 집 화되지 않은 분산 환경에서

정보의 교환을 한 가벼운 표 으로, 원격지 호출과 응답형

의 골격을 갖춘 XML(eXtensible Markup Language) 기반으

로 되었다.

Page 62: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

58 그리드 컴퓨 기술

○ SOAP과 웹 서비스들을 이용하면 자료 길라잡이는 기능

역으로 표되는 모듈들로 분산한다. 작성된 언어에 계없

이 자료 길라잡이와 (다른 길라잡이들이나 고객들과) 통신하

기 한 서비스를 허용하는 독립 인 랫폼과 언어 서비스

들이 있다. 각 웹 서비스는 길라잡이의 핵심 모듈(module) 내

의 상태를 얻기 해서 사용될 암호화된 세션 ID(session

identification)를 송한다.

○ 조회 모듈(lookup module)은 이 버 의 자료 길라잡이에 꼭

필요한 것으로, 출 과 자료 길라잡이 웹 서비스 모듈을 찾는

데 사용된다. 하나의 모듈이 UDDI(Universal Description

Discovery and Integration)에 문항을 보내고, 모듈의

WSDL(Web Services Definition Language) 일 주소를 받

아서, 필요한 웹 서비스를 행사한다.

○ CCLRC는 천문학에서 물리학에 이르는 여러 과학 주제들로

부터 가용 자료들을 통합하고 만들어낼 수 있는 XML 포맷

의 특별한 다분야의 메타데이터 CSMD(CCLRC Scientific

MetaData)를 개발하 다. 이 CSMD 포맷의 확장으로 다른

장소들도 만들어질 수 있다.

○ 권한 부여

- 자료 길라잡이 안에서의 자료 인증은 각 시설에 한 이용

자의 임 인증서(proxy certificate)의 GSI(Grid Security

Page 63: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제6장 CCLRC 자료 길라잡이를 이용한 자료 리 59

Infrastructure)의 임에 의해서 이루어지며, 각 시설에는

ACM(Access and Control Manager)과 XML 포장띠

(wrapper) 웹 서비스가 있다. 이용자 임 인증서는 로그

인(log-in)하자마자 각 시설의 ACM으로 보내지고, 그들

시스템의 지역 이용자에게 이용자의 특별한 이름을 확인하

고, 속권을 XML 문헌의 형식으로 자료 길라잡이에 부여

한다. 이 XML 문헌이 하나의 권한 부여표(token)다. XML

포장띠는 시설의 공공 열쇠로 이 권한 부여표의 사인

(signature)을 인증한다.

○ XML 포장띠

- XML 포장띠는 자료 아카이 의 지역 메타데이터 포맷과

CSMD 간의 변환에 이용된다. 한 과학 연구들과 여러

형태의 련 자료들에 한 정보를 갖고, 웹 서비스들을 통

해 공통 인터페이스를 표 하는 메타데이터 장소들을 통

합하도록 한다.

- XML 포장띠는 XML 문헌들을 CSMD 문헌들로 구축하고

XML 문헌들에 문항을 보내는 2가지 독립된 기능을 갖는

다. 이 형태의 구조는 포장띠가 시설에서의 자료 아카이

가 끊겨서 연결이 안 될 경우에도 지속 인 속이 되도록

한다.

Page 64: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

60 그리드 컴퓨 기술

2. 자료 저장

□ 과학 응용들의 출력물은 근래 모두 평 일로 장되는

데, 이 일들은 가끔 많은 장치와 수종의 미디어에 분산된다.

자료들은 논리 이라기보다 물리 으로 짜여져 있어, 자료

리에 문제가 생긴다.

□ 자료 리 시스템은 장 시스템들의 물리 소재지와 미디어

로토콜들로부터 이용자를 요약하여, 자료들이 논리 으

로 단 하나의 가상 일 시스템으로 구성되게 한다. 한

SRB가 e-Minerals와 같은 분산된 가상 구조를 통하여 자료

들을 함께 쓰도록 간소화한다. 이 시스템에는 로젝트에 참

여하지 않는 동료들에게 표 발행 형태로 속을 허용하는

시설도 있다.

□ 자료 길라잡이는 각종 장 시스템들로부터 자료를 내려받거

나 송시킬 수 있다. SRB를 통한 자료의 속은 GUI(Graphic

User Interface)들이나 웹 라우 (web browser) 지령선 는

SRB API(Application Program Interface) 등을 통하여 가능하

다. 자료 길라잡이가 웹 서비스를 통하여 자료나 일들에

속시키고 이용자가 내려받게 해 다.

□ CCLRC 내의 구조는 이용자가 Globus Gram 작업을 통하

여 일부 자료로 원격 작업을 한 후, 차후의 분석을 해 결과

Page 65: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제6장 CCLRC 자료 길라잡이를 이용한 자료 리 61

들을 아카이 하게 하고 있다. 다른 과학자들과 자료를 함께

쓰고자 하는 이용자는 자료 삽입 툴로 이 자료에 주석을 달

고, 메타데이터에 이 자료를 연계시킨다. 자료들은 SRB API

Jargon 주 에 포장된 웹 서비스 인터페이스를 이용하여 올

려지기도 하고 내려받게 된다.

3. 자료 주석과 출판

□ 자료 생성 과정의 마지막 단계는 주석과 출 이다. 평 일

에 장된 자료로부터 메타데이터를 분리함으로써 주석이 이

루어지며, 물리 일의 소재를 내부 으로 알려주는 SRB에

메타데이터가 연계된다.

□ 최근에는 개별 산 시뮬 이션들이 자료 삽입 툴을 이용하여

과학 작업에 계된 메타데이터에 속되고, 차후 자료 길

라잡이를 통하여 검색될 각각의 주제 계층들에 의해 꼬리표

붙여진 연구들로 집단화된다.

4. 전 망

□ 자료 길라잡이에는 신기술들이 잘 고려될 것이며, 다른 로

젝트와 함께 추가 인 웹 서비스 모듈의 첨가라던가 재의

모듈의 개선 같은 연구들이 앞으로 추진될 망이다.

Page 66: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

62 그리드 컴퓨 기술

□ 향상된 탐색

○ XML 문헌들의 탐색을 한 언어로 XQuery를 사용하면 자료

길라잡이 탐색 능력에 추가되는 상세하고 향상된 탐색이 가능

하다. 이 게 함으로써 이용자가 XQuery를 명세화하거나

GUI를 통하여 일정한 날자들, PI(Principal Investigator)들과

연구소 등을 해서 이미 정해진 탐색을 상세하게 이행할 수

있다.

□ 장바구니 분담

○ 이용자들은 자료 길라잡이의 다른 용자들에게 표를 보내

으로써, 그들의 장바구니와 보유한 정보에 제한된 속을 허

용할 수 있다. 이는 PI들이 동료 연구자들이나 박사 후 연수

자들에게 그들의 장바구니에 속시킬 수 있는 유용한 기능

이다.

◃ 문가 제언▹

□ 재의 자료 길라잡이(Data Portal)에 의한 자료 리에는 과

학자들이 여러 소재지의 각종 자료들을 속하고 리하고

송하거나 새로운 자료 자원들을 확인하는 데 매우 제한된

지원을 받고 있다. 진정한 그리드(Grid) 환경에서 많은 작업

들을 자동화하는 과정을 쉽게 만드는 것이 필수 이다.

Page 67: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제6장 CCLRC 자료 길라잡이를 이용한 자료 리 63

□ 이 보고서에서는 국 CCLRC(Council for Central Laboratory

of the Research Councils)에서 개발된 자료 길라잡이를 이용

하여 이용자는 물론 동료 연구자들도 참여하면서 사용할 수

있는 자료 리 시스템이 소개되었다. 그러나 추가 인 웹 서

비스 모듈의 첨가와 개선 서비스의 효율화 등에 한 연구

가 더 필요한 것으로 단된다.

□ 국내에서도 2001년에 수립된 ‘차세 인터넷 기반 구축을

한 국가 그리드 기본 계획’에 따라 고성능 클러스터 컴퓨

그리드 자원 구축, 업 연구 그리드 인 라 구축 성능 향

상 연구, 연구 장비 그리드 구축, 자료 그리드 테스트베드

(Grid Testbed) 구축 국가 그리드 테스트베드를 이용한 그

리드 공동 연구 등의 과제를 추진하고 있다. 한 자료 그리

드에서 용량 자료 송을 하여 안 하고 견고한 고성능

자료 송 메커니즘의 핵심 기술인 GridFTP가 한국과학기술

정보연구원에서 개발된 바 있다.

Page 68: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

64 그리드 컴퓨 기술

Page 69: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제7장 eMinerals 로젝트 안에서의 Grid 툴 통합 65

제 7장

eMinerals 프로젝트 안에서의

Grid 툴 통합6)

1. 머리말

□ eMinerals 로젝트란 “분자 수 으로부터의 환경”이라는 이

름으로 추진되고 있는 NERC eScience 시범 로젝트 의

하나다. 이 로젝트는 고농도 핵폐기물의 캡슐 인 물질 내

부의 방사선 피폭 향, 표면 오염물의 흡수 풍화작용

향 등을 포함하는 주요 환경 과제들에 하여 분자의 길이와

시간 범 로 진행되는 산 시뮬 이션을 이용하는 새로운

도 이기도 하다.

□ 이 로젝트는 국 내 6곳의 지리 장소들에 분산되어 있

고, 이 에 이용 가능한 비슷하게 분산된 컴퓨터 자원들을

갖고 일하는 20명가량의 작업자들로 구성되었다. 이 로젝트

의 과학자들은 다수의 다른 시뮬 이션 코드(code)들로 작업

하는데, 코드들로는 경험 모델 치에 지 함수들이나

6) 본문은 “Mark Calleja et al, Grid Tool integration within the eMinerals

Project, 2004, pp. 1~6”을 박경윤 문연구 원께서 분석 요약한 것입니다.

Page 70: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

66 그리드 컴퓨 기술

으로 양자역학 방법을 이용한 원자들 간의 상호작용이 기

술될 수 있는 것들이다.

□ 이 논문에는 eMinerals minigrid의 구축 과정과 사용된 툴

(tool)들이 기술되었으며. 이 과정에서 확인된 몇 가지 결 들

도 논의되었다.

2. eMinerals minigrid의 구성성분

□ 산 자원

○ eMinerals minigrid는 배분되어 있거나 지원받는 다음과 같은

산 자원들로 구성되어 있다 :

- 3개의 Linux 클러스터(cluster) : Bath, Cambridge

UCL(University College London) 3곳에 있으며, 모두

Lake라고 불린다. 각 클러스터는 한 개의 마스터 노드

(master node)와 16개의 부속 노드를 갖는데, 모두

2.8GHz로 운용되는 Intel Pentium 4 처리기와 각 처리기

에는 2 GB의 기억장치가 달려 있다. 노드들은 Gigabit

Ethernet으로 상호 연결되고, PBS 기열들을 운용하며

MPI 작업들을 지원한다. 재에는 Cambridge와 UCL에

있는 클러스터들은 Globus 툴킷(toolkit)의 v2.4.3로 운용

되고, Bath의 클러스터는 v3.2로 운용되지만, 곧 모두

v3.2로 갱신될 정이고, Cambridge에 있는 두 번째

Page 71: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제7장 eMinerals 로젝트 안에서의 Grid 툴 통합 67

Linux 클러스터가 minigrid에 추가될 것이다. 마스터노드

는 지역 네트워크들에 있는 다른 자원들로의 Globus

gatekeeper 역할을 한다.

- IBM pSeries 병렬 컴퓨터 : 이 장비는 Reading에 있고, 각

기 8개의 POWER4 1.5GHz 처리기와 16GB 기억장치가 부

착된 3개의 IBM pSeries p655노드들로 되어 있다. 이 노드

들은 250GB의 용 기억장치를 가지고 개별 인 Gigabit

Ethernet 변환기를 통하여 연결되며, 최신의 리 수 에

서 AIX 5.2와 LoadLeveler 배치(batch) 작업 일정 리기를

운용한다.

- UCL Condor 풀(pool) : UCL에 소재한 형 Condor 풀은

UCL의 정보시스템 그룹과 업하는 eMinerals 로젝트

의 회원들에 의해서 만들어졌다. 이 풀은 Windows로 운용

되는 930개의 PC들로 구성되었고, 각 PC는 Windows 단

말기 서버의 클라언트(client)로 작동한다.

- Cambridge Condor 풀 : Cambridge에 소재한 250여개의 컴

퓨터들로 구성된 소형 제품/시범 Condor 풀이다. 이는

Silicon Graphics Irix 워크스테이션(workstation)들과 Linux

PC들 Windows PC들을 포함한 불균일한 풀인데, 곧

Mac OS X를 운용하는 Macintosh G4 장비들이 여기에 추

가될 정이다.

- 산 Grid를 한 Grid 미들웨어(middleware) : Globus와

Condor의 핵심 툴들 주변에 eMinerals minigrid가 고안되고,

Globus 2 툴킷의 기능에 한정시키도록 했다. Condor 툴킷은

Page 72: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

68 그리드 컴퓨 기술

표 Condor 원본(script) 형태로 Globus 작업 제출 명령어

들을 정리해주는 Condor-G 툴킷의 형태로 된 산 자원들

과의 이용자 상호작용의 제한을 극복하는 기능을 제공한다.

□ 자료 자원

○ eMinerals minigrid는 다음과 같은 배분된 자료 자원들로 구

성되어 있다 :

- 장 자원 개기(Storage Resource Broker : SRB) : 어느

한 속 에서 분산된 자료에 속되도록 San Diego 슈퍼

컴퓨터센터에서 개발되었다. SRB는 자료 속성과 논리

이름에 근거한 자료에 속되는 가상 일 시스템을 제공

하며, 물리 치는 일 특성만으로 나타난다. 그 구성은

CCLRC Daresbury의 메타데이터 카다로그(Metadata

Catalogue : MCAT) 서버와 Cambridge, Bath, UCL

Reading 등에 있는 5개의 자료 기억장비 시스템(SRB 보

실)들로 되어 있고, 이 시스템들은 모두 합쳐서 3TB가량의

기억용량을 minigrid에 제공한다. SRB는 MCAT과 연

되어 작동하는 클라이언트 서버 미들웨어(client-server

middleware) 툴이다. MCAT 서버는 다른 물리 일 시

스템들 간에 이동되는 일들에 한 정보를 보유한다.

- 응용 서버 : 이는 CCLRC Daresbury에 있으며, 2 Xeon

2.8GHz 구조로 되고 노드 당 2GB 기억용량을 가진 IBM

Bladecentre이다. 이 서버는 SRB를 해서 MCAT 서버

Page 73: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제7장 eMinerals 로젝트 안에서의 Grid 툴 통합 69

와 MySRB 웹(web) 인터페이스를, eMinerals 길라잡이

(portal)들을 해서 웹 서버 자료 길라잡이와 SRB와

함께 운용되는 메타데이터 편집기의 기능들을 갖는다.

- 데이터베이스 클러스터 : 이는 두 개의 거울 시스템으로

구성되고, CCLRC Dasebury에 치하고 있다. 자료 일

치와 메타데이터 데이터베이스를 포함한 SRB MCAT

계형 데이터베이스를 유지하기 해서 Oracle 실질 응용

클러스터 기술을 운용한다.

□ eMinerals에 통합된 minigrid

○ eMinerals mimigrid의 구조는 앞에서 기술된 데로 통합 산

과 자료 자원들로 구성되어 있고, 로젝트 안에서의 자료

리를 한 구조는 그림 2에 제시된 바와 같다.

○ 이 분산 구조의 주요 장 은 로젝트 안에 있는 모든 자료

일들이 모든 산 자원으로 즉각 이용될 수 있다는 이다.

이용자들은 계산 시작 에 입력 자료 일들을 올리면 작업

이 선정하는 즉시로 자료들이 이용된다. 마찬가지로 작업이

끝날 때에도 출력 자료들은 자동 으로 지정된 SRB 보 실

안에 장되며, SRB의 인터페이스를 통해서 이용자들에게

속될 수 있게 된다.

○ 출력 일들은 SRB에 올려진 다음에 메타데이터를 이용하여

Page 74: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

70 그리드 컴퓨 기술

주석이 붙여진다. 결과로 로젝트 회원들은 자료 길라잡이를

이용하여 연구 세부사항과 자료들을 탐색하고 불균일한 자료

자원들에 속이 가능하다.

○ 시작품으로써 eMinerals minigrid를 이용하여 Condor를 WSRF

와 통합하는 작업이 시작되고 있다.

□ eMinerals minigrid에의 속

○ eMinerals minigrid 시설의 면은 Globus 툴 주변에 기반한

2.x와 3.2의 혼합으로 되었으며, GT3.2로 모든 gatekeeper들

이 향상되는 이다. 모든 minigrid 자원들은 이 gatekeeper들

을 통하여 속되고, 따라서 각 클러스터에서의 PBS 기행

렬들은 Globus에 있는 클러스터의 해당 작업 리자의 요청에

의하거나 Condor-G 명령에 의해서 속된다.

○ eMinerals minigrid에의 속이 Globus 툴을 통해야 되므로

이용자들은 Globus 클라언트 툴에 속해야 되는데, 각 이용

자의 데스크탑 장비에 Globus와 Condor-G 클라언트 툴들의

설치에 한 경험 부족을 극복하기 해서 minigrid 안에 작

업 제출 노드들로 이용되는 다수의 소규모 용 장비들이 마

련되었다.

○ 존하는 어떠한 방화벽들도 련 트래픽(traffic)이 통과되도

Page 75: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제7장 eMinerals 로젝트 안에서의 Grid 툴 통합 71

록 해야 되므로, 이와 연 된 많은 문제들을 조사하고 해결하

기 해서 연구소 컴퓨터 지원 들과 하게 작업들이 이

루어져야 한다. 자원에의 출구로 작동하는 다수 제출 노드들

의 배치는 리자들이 이용자들을 신해서 Grid 툴들을 구성

하고, 시험하고 리할 수 있도록 배려되었다. 따라서 이용자

는 미리 구성된 노드들이나 자신의 데스크 탑 PC들에서 작업

들을 제출할 수 있다.

3. 작업 제출

□ 이용자들이 간결한 방법으로 Grid 환경에 작업들을 제출하는

데에는 기교가 필요함이 명되었다. 이용자들이 데스크 탑이

나 minigrid 제출 장비들 하나로부터 minigrid 자원들에 작

업을 제출하기 해서는 Condor의 Globus 클라언트 툴, 즉

Condor-G를 이용할 수 있다. Condor-G는 이용자들에게 고객

측 작업 일정조정을 제공하여, 지역 기행렬에 있는 Grid 자

원들에 제출하는 것을 히 리하도록 한다.

□ 그럼에도 불구하고 제출 원본들을 다루는 것이 일부 이용자들

에게는 난감하여, 새로운 서비스들의 도입과 함께 재의 모든

기능을 속하기 한 browser 인터페이스가 개발되는 이다.

Page 76: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

72 그리드 컴퓨 기술

4. 문제점

□ 여러 가지 기술들을 꿰맞추는데 부딪쳤던 주요 난제들은 여러

Globus 작업 리자들에 연 된 기능의 부족에서 연유되었다.

PBS와 Condor 작업 리자들, 즉 pbs.pm과 condor.pm 양자들

을 해서 perl 모듈들을 확장해야 했는데, 문제는 다른 MPI

분산이 GNU나 Intel 컴 일러 등에 컴 일 되지 않고, 출력

일들이 제출 장치로 되돌아오게 하기 해서 Condor 작업

리자를 확장해야한다는 이다.

□ minigrid에 한 부하의 균형을 이루는 데는 재 이용자의

결정에 으로 달렸다는 은 바람직하지 않다. 이용자들이

어디로 작업을 제출하여야할지 결정하는데 도움이 될 보

인 자원 탐색 툴들이 일부 마련되었으나 아직 만족할 만하지

않다.

5. 결론 및 앞으로의 과제

□ eMinerals mingrid는 이제 로젝트 과학자들에게 생산 이

용 단계에 있으나, 아직 국립 Grid 서비스 산 클러스터나

국립 고성능 시설 등에 제출되는 고도의 병렬 작업들에 한해

서만 가능하다. 부분의 작업들은 Condor 풀들에 있는 소규

모 유일 노드 작업에서 클러스터들에 있는 병렬 MPI형 응용

에까지 minigrid의 자원들에 의해서 다루어질 수 있다.

Page 77: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제7장 eMinerals 로젝트 안에서의 Grid 툴 통합 73

□ 앞으로의 과제는 eMinerals minigrid의 자원들과의 이용자 인

터페이스 개선이다. 확인된 인증 차를 이용하는 SRB소 트

웨어의 새 버 을 도입하는 것과 Condor 로젝트에서 방화

벽들과 사설 IP 주소들이 있는 풀들을 활용해서 새로 제안되

고 있는 특징들을 수용하는 것이다.

◃ 문가 제언▹

□ Grid는 세계에 분산돼 있는 첨단 연구장치, 자료 등을 자신

의 연구실에서 시간과 공간의 구애 없이 활용할 수 있도록 가

상 기 들의 통합 구조 개념으로 제안되었다. eMinerals 로

젝트에서는 많은 과학자들이 공동으로 참여하여 Grid 환경에

서 환경과제들의 분자 시뮬 이션 기술을 개발하는 이다.

□ 이 에 논의된 eMinerals minigrid는 재 운행 인 것으로,

산과 자료 구성성분, 즉 Condor, PBS와 Globus v2 에 구

축된 산 장자원 개기(SRB: Storage Resource

Broker)와 CCLRC 자료 길라잡이(portal)의 합성 이용에 기반

한 자료 구성성분들뿐 아니라 미들웨어(middleware) 구성성

분과 이용자들이 다른 환경에서 작업을 제출하는 시설들이 통

합되었다.

□ 이 로젝트의 목 들 의 하나는 이미 구축된 표 들의 기

반에서 과학 탐구에 시범으로 용될 Grid 기반의 인 라

Page 78: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

74 그리드 컴퓨 기술

(infrastructure)를 구축하는 데 있었다. 한 가지 핵심 특징은

산과 자료 작업들을 작업 시스템 수 에 통합하는 방법에

유사한 산과 자료 미들웨어 툴(tool)들을 통합하는 것으로

써, 과학 이용자들과 긴 한 업을 최우선 으로 가능하게

하 다. 따라서 분자 시뮬 이션 커뮤니티(community) 회원

들은 형 으로 은 개별 산 자원들을 갖고 작업하고, 통

상의 Unix 툴을 통하여 그들 자원의 자료들을 리할 수 있

다. 그러나 앞으로 확인된 인증 차의 이용, 방화벽과 사설 IP

주소들의 풀을 활용하는 새 버 들을 수용해야하는 등 많은

과제가 남아 있다.

□ 우리나라에서도 국가 Grid 구축사업이 2002년 이후 계속 으

로 구축되어 왔고, 최근에 한국형 Grid 미들웨어 패키지가 한

국과학기술정보연구원에서 개발되었다고 보도된 바 있다. 이

기술개발로 R&D 주기가 획기 으로 어들고 고가의 첨단

연구장비 구입비용이 많이 어들 뿐 아니라, 세계 연구자들

과의 업이 필요한 공동 연구과제의 추진에 탄력을 받을 것

으로 단된다.

Page 79: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제8장 공동기간시설의 가상분산 환경 75

제 8 장

공동기간시설의 가상분산 환경7)

1. 서 론

□ 그리드 컴퓨 (Grid Computing: 컴퓨터 자원을 격자형 통신

망으로 연결하여 활용하는 기술을 의미함)은 여러 분야에 걸

쳐 컴퓨 자원을 다수의 사용자가 쓸 수 있게끔 할당, 연합,

는 리한다. 그리드 컴퓨 기술발달은 역 공동기간통신

망을 형성 한다. 한, 그리드 컴퓨 기술은 통신망에 붙어

있는 방 한 컴퓨터 시설을 이용하여 범 한 병렬, 분산처

리를 할 수 있게 한다.

○ 사용자는 업무를 수행하는데 OGSA(Open Grid Service Archi-

tecture)와 GRAM(Grid Resource Allocation and Management)

등의 그리드 사용자 응용 인터페이스 기술로 통신망상의

컴퓨 자원을 요청하고 사용할 수 있다. 이러한 기술을 기반

으로, 분할 가능한 병렬형 작업-서비스 모델에 한 범용

7) 본문은 “Ruth, P. et al, Virtual Distributed Environments in a Shared

Infrastructure, IEEE Computer Society, 38(5), 2005, pp. 63~69”을 신동필

문연구 원께서 분석 요약한 것입니다.

Page 80: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

76 그리드 컴퓨 기술

자원 공유와 로그램의 동시 수행이 가능하다.

○ 공항운 이나 테러방지활동 등의 다양하고 동 객체들이 얽

작용하는 운 이나 작 개념의 작업과 서비스에 한

용은 하지 않다. 즉, 특수 O/S, 통신망 서비스, 패키지, 라

이 러리 등을 요구하는 작업에는 그리드 컴퓨터의 범용

응용이나 서비스를 용하기 어렵다.

○ 그리드 컴퓨터의 범용 응용이나 서비스를 용할 경우에 발

생하는 그리드 컴퓨 통신망에 한 해킹 등의 공격이 연쇄

으로 그리드 컴퓨 통신망에 직 으로 향을 끼치는 것

을 방지해야 한다. 사용자나 개발자들은 고의든 타의든 비신

뢰성 는 감염된 코드를 그리드 컴퓨 통신망에 유입시킬

수 있다.

□ 본 연구에서는 상기와 같은 상황 특징들을 지닌 사례 개발

결과에 하여 서술한다. 즉, PlanetLab 같은 공동 격자형 통

신망 기반의 기간시설에 개별화된 가상분산 환경을 지원하기

하여, 가상통신망과 가상컴퓨터 기술을 통합하는 미들웨어

를 개발한 내용을 서술한다.

2. 가상화 미들웨어

□ 공동기간시설은 작업-서비스 심의 공유모델을 보충하기

Page 81: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제8장 공동기간시설의 가상분산 환경 77

해 고립 분산 환경이 필요하다. 고립 분산 환경은 동 맞춤

형 구성, 응용의 2진수 호환성, 고장 는 감염된 응용의 악

향을 가두는 기능 등을 지원해야한다.

□ 가상화는 응용과 공동기간시설 사이의 여러 간 층이다. 가상

컴퓨터 기술로는 VMware, User-Mode Linux(UML), Xen 등

이 개발 다. 가상화 네트워크 기술로는 VNET, Violin(Virtual

Internetworking on Overlay Infrastructure) 등이 있고, 이들은

모두 VM 통신을 한 가상 IP 네트워크를 형성한다.

□ Penato Figueiredo가 In-VIGO의 VMPlant 구조 시스템에서

처음으로 가상컴퓨터 기술을 Grid에 용하여 보안성, 고립,

맞춤형, 기존 소 트웨어 지원, 리자특권, 자원 리, 장소독

립 등 장 을 밝 냈다. 본 연구는 그리드나 PlanetLab 같은

공동기간시설에서 가상분산 환경을 형성하는 미들웨어를 개

발하여 가상화를 한 단계 더 발 시켰다.

3. 가상컴퓨터로부터 가상분산 환경까지

□ 이 가상컴퓨터 연구에서는 UML 기반이고, 응용이 요구하

는 구성과 O/S, 랫폼 하드웨어를 공유하는 가상서버를 만

들었다. 이들 가상서버들은 각각 독립 이고, 통신망에서 실

제 IP 주소를 사용하기 때문에 일정 가상컴퓨터 집단으로 가

상네트워크를 만들거나 두 개의 독립된 가상네트워크는 만들

Page 82: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

78 그리드 컴퓨 기술

지 못하 다.

□ VNET나 Violin은 이 문제를 고차원 가상 IP 주소 네트워크

를 만들어 해결했다.

○ 각 가상네트워크는 고유 IP 주소 공간이 있고, 다른 가상네트

워크와 복될 수도 있다.

○ 가상네트워크 내 가상컴퓨터는 인터넷에서 보이지 않는다(보

안성).

○ 가상네트워크의 가상컴퓨터 간 연결은 선택 이다.

○ 각 가상컴퓨터 간 연결에는 한계 통신량이 있어 과잉 통신발

생을 방지한다. 가상컴퓨터는 가상네트워크 형태나 통신량을

강제 조정할 수 없다.

□ Violin은 가상컴퓨터와 랫폼 사이에 통신 간 층으로 네트

워크 가상화를 실 한다. 이 층에서 Violin demon이 가상네트

워크 송 수단 역할을 하는 사용자 수 격자를 형성한다.

Violin demon은 UDP 같은 터 링 응용수 기법으로 VM 간

통신(IP 기본 서비스)을 에뮬 이션 한다.

□ VNET에서는 네트워크 가상화가 완 히 실 되지 않아 호스

Page 83: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제8장 공동기간시설의 가상분산 환경 79

트 장치들이 통신망 송달을 형성해야한다. 그러나 VNET는

동 으로 응용통신 형태에 응하여 통신성능을 증진시킨다.

□ Violin 기반 미들웨어가 VNET를 통합하여 가상분산 환경을

이루는데 이를 Violins라 부르고 다음의 특징이 있다.

○ VM과 가상IP 통신망을 요구 로 구성한다.

○ 통신망 형태, O/S, 응용, 패키지, 자료실 등을 요구 로 구성

한다.

○ 제작당시 응용과 2진수 호환성 환경을 제공한다.

○ 가상네트워크 IP 공간 고립으로 악 향 국지화, 가상컴퓨터

자원과 가상통신망 통신량 제한, 리자 특권을 구 한다.

□ 이질 자원으로 구성된 다 통신망 랫폼 에 가상화 미들

웨어가 올라간다. 이 미들웨어는 랫폼 통신망 자원을 통합

하여 공동기반시설을 구축하고, 두 개 독립 Violins를 형성한

다. Violins는 통신망, O/S, 응용서비스를 응용가동에 맞추어

형성한다.

Page 84: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

80 그리드 컴퓨 기술

4. Violin 상세

□ Violin은 각자 다른 호스트 컴퓨터에서 가동되는 가상컴퓨터

들을 인터넷 없이 연결하여 가상 IP 통신망으로 통신 한다.

여기서 UML 사용자 모드와 개방형 소스코드를 활용했다.

□ 가상컴퓨터는 Linux 사용자 실행공간의 로세스로 이루어진

다. 호스트 커 의 탭 장치(Tap device)로 호스트 외부와 통

신한다. VM에는 이 탭과의 속면을 마련하여 호스트가 VM

간의 통신을 제어하는 라우터가 된다. 여기서 사용자는 라우

설정을 하여 근본수 특권이 필요하고 VM은 실제 네트

워크 공간을 넘나들 수 있는 IP 주소가 있어야 한다.

□ Violin은 탭 요구를 우회시켜 VM을 인터넷과 분리된 직교 IP

공간에 존재하게 한다. VM은 속면을 통해 가상네트워크 스

치인 demon에 연결한다. Violin demon은 UDP와 TCP를

사용하여 실제 스 치와 같이 작동하여 가상네트워크를 운

하지만 호스트 컴퓨터의 사용자 공간에서 가동된다.

5. 실험 결과

□ Violin 기반 미들웨어는 PlanetLab의 가상분산 환경에 용

다. 한 Violin에 두 VM들 는 두 호스트상의 두 VM들 간의

TCP 성능과 ICMP(인터넷상의 통신) 성능이 측정 다. 결과

Page 85: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제8장 공동기간시설의 가상분산 환경 81

는 Violin 성능이 PlanetLab 성능보다 15% 이하 하 다.

○ Violin 성능을 실제 클러스터 성능과 비교하기 해 고성능

Linpack (HPL)성능 테스트를 하 다.

- 호스트 환경은 1.2-GHz Athron 로세서, 1-Gbyte RAM,

Debian Linux 3.0, 100Mbps Ethernet이다.

- Violin상의 VM 수와 실제 클러스터상의 로세서 수를 같

이 증가시키며 HPL이 최고가 되도록 문제 크기, 그리드 형

태 등을 조정한다.

- 이 조정된 라미터를 Violin 최고 성능 라미터로 정하

고 Violin과 실제 클러스터에 각각 다른 변수를 조정하며

최고 성능을 달성하도록 가동한다.

- 64VM과 로세서에서 Violin은 클러스터의 80% 성능을

올렸다. 이 정도 성능 부담은 규모 기간시설인 경우 정

당화될 수 있다.

○ 다수 Violins 성능 시험 : 32개 노드의 실제 클러스터를 이용

하여 이를 공유하는 다수 Violins 시험을 했다.

- 16-Violin 시험에서는 각 클러스터 노드가 16VM/32Mbyte

들을 지원했다. 32VM/32Mbyte에서 가동되며 최 HPL

성능을 내는 문제 규모를 택하여 이것으로 다른 시험에도

사용했다.

- 결과는 8개 Violin까지는 많은 VM들이 같은 클러스터 자

원을 공유해도 총 성능은 증가했다. 그러나 16-Violin까지

Page 86: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

82 그리드 컴퓨 기술

는 VM 수가 증가하면서 총 성능은 약간 감소했다. 이는

Violin 수를 증가하면 약간의 총 성능손실을 래하는 것

을 보여 것이다.

○ Violin 통신형태 : Violin의 소 트웨어의 사용자수 구

은 통신망 감시기능이 용이하게 되어있다. 결과 도표들은

Condor나 SETI@Home 같은 분산응용에서 불 수 있는 것보

다 복잡하다. 이는 기간시설이 이질 일 때는 VM들의 배치

가 통신성능에 심각한 향을 끼친다는 것을 보여 다.

6. 진행 중인 연구

□ Violins를 지능 으로 만들 것이며, 가상분산 환경을 자기 응

는 리하는 생물체처럼 만들 것이다. 가상 환경은 자원할

당, 규모, 토폴로지를 응용가동역학에 따라 자기 응하게 할

것이다. 가상화 기술이 이를 가능하게 할 것이다.

□ 에이 트 기반 시험에서는 군 이 쇼핑, 통근 같은 상황에서

어떻게 움직이고 상호작용하나를 연구할 것이다. 처음 두 VM

이 두 지역을 나타내며 시작하고, 각 지역 사람들이 증가함에

따라 VM 수도 증가하고 가상 환경은 커진다. 마지막 단계로

실제 호스트 능력제한 때문에 발생하는 VM 이주를 보인다.

Page 87: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제8장 공동기간시설의 가상분산 환경 83

7. 결 론

□ 가상분산 환경은 공동기간시설에서 가동되는 응용에 따라 형

성되고 고립되는 추상개념을 제공한다. 그리드나 PlanetLab

같은 공동기간시설의 고립된 가상분산 환경을 시험 평가하

다. Violin 기반 가상화 미들웨어 경험은 분산 컴퓨 의 새 패

러다임으로써 폭넓은 가상분산 환경 용 연구를 지원할 것

이다. 특히 다음 세 Violin은 고도의 동 응용분야를 하여

자기 응하고 손쉽고 편리하게 가상분산 환경을 제공하는 지

능을 갖출 것이다.

◃ 문가 제언▹

□ 종 의 가상화는 단일 컴퓨터상에서 가상컴퓨터 감지기(VMM)

가 다수의 가상컴퓨터(VM)를 운 하는 기술이었다. 그래서 이

질 사용자 소 트웨어를 수정 없이 VM에서 가동시킬 수 있

게 했다. VMM의 CPU 가상화 형태에 따라 의사가상화(Denali),

2진수 번역(VMware), 직 수행 가상화(Intel VT-x, VT-i) 등

여러 가지 가상화가 개발되었다.

□ 직 수행 가상화는 IA의 CPU 구조를 변경하여 VM의 응용

로그램 부분이 직 수행되므로 다수 VM을 수용할 수 있

는 신축성이 생긴다. 한편 Denali는 디스크, Ethernet 같은

I/O도 가상화하여 VM들의 I/O 사용을 VMM에서 메시지 라

Page 88: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

84 그리드 컴퓨 기술

우 기능으로 처리한다. 이 기능은 인터넷상의 다양한 자원

을 VM들이 사용할 수 있게 한다.

□ In-NIGO나 SODA에서는 Grid상에서 가상화를 구 하여 보

안성, 독립성, 기존 소 트웨어 지원, 맞춤형 지원 등 기능을

실 하 다. 그러나 이들은 통신망의 실제 IP 주소를 사용하

기 때문에 VM 집단의 독립된 가상네트워크 구성이 불가능

하다.

□ 본 연구는 Grid 공동기간시설에서 가상분산 환경을 구 할 수

있는 미들웨어 Violin을 개발하여 가상화를 한 단계 더 발

시켰다. Violin은 가상 IP 주소 공간개념을 Violin의 demon에

도입하여 가상네트워크를 가능 했다. 여러 개의 가상네트워

크도 실 할 수 있고, 각자는 독립된 IP 공간을 보유하므로 보

안성, 자원 리 등의 국지화가 가능하다.

□ CRAY를 주축으로 한 슈퍼컴퓨터와 병행하여 최근에는 자기

조립 DNA 컴퓨터, 반도체를 이용한 양자컴퓨터 등 극 형 컴

퓨터로 향하는 연구가 활발하다. 이들은 모두 실리콘 반도체

의 한계에 부닥쳐 패러다임 신을 모색하고 있다.

□ 본 연구에서 가상화 기술을 사용하여 인터넷이나 Grid상에서

고립 분산 환경을 지원할 수 있으므로, 병렬, 계산 집약 고

성능 작업처리를 한 기 를 마련하 다. 이러한 연구 성과

Page 89: 그리드 컴퓨팅 기술 - KISTIgift.kisti.re.kr/data/IAC/files/KISTI-200511-PKY-griding... · 2008-11-18 · 제2장 영국 연구시설관리연구회의 과학 분야 메타데이터

제8장 공동기간시설의 가상분산 환경 85

와 미래도 은 상기 극 형 컴퓨터 실 노력의 열에서

실 근 방식을 제시할 것이다.