科学数据网格与 China-VO

中科院计算机网络信息中心许海燕

xhy@cnic.ac.cn

提纲

• China-VO

• 网格• China-VO 与网格的结合 —— 科学数据网格（ SD

G ）• IT 专业人员与学科领域专家的合作

China-VO

• 天文数据的特点• China-VO 的主要任务• China-VO 的关键技术问题

天文数据的特点

• 海量• 开放• 分布• 在线• 异构

China-VO 的主要任务

• 天文数据融合• 天文数据交互• 多波段数据处理• VO-enabled LAMOST

China-VO 的关键技术问题－硬件

• 海量数据的存储和处理－存储资源：大型天文数据库－计算资源：超级计算机－网络资源：高速网络

China-VO 的关键技术问题－软件

• 海量数据的存储与处理 －元数据标准

－资源的注册与发现－统一访问

网 格

网格的优势

• 能实现数据资源、计算资源、存储资源等各种资源的全面共享

相关学科领域

• 天文• 气候• 高能物理• 生物• 医学

China-VO 与网格的结合— 科学数据网格（ SDG ）

VO 与网格的关系

• VO 是网格技术最好的实验床

• 网格是 VO 的最佳技术支柱

—— 两者相辅相成

China-VO 与网格的结合—— SDG

• SDG 概述• SDG 资源 / 系统平台• SDG 系统平台软件• 进展情况

SDG 概述（ 1 ）－目标

• 以科学数据库（ SDB ）数据资源为基础• 联接中科院 40 多个研究所• 实现分布式异构数据资源的有效共享• 开发对科学研究有直接实用意义的应用系统

SDG 概述（ 2 ）－主要研究内容

• SDG 基础设施 • SDG 系统平台软件 • SDG 的示范应用系统－ VO

• 科学研究领域的网格应用框架

Application

GAPI

DRB

UAI

Local DBMS

MDS

GSI

多个数据资源的协同访问

单个数据资源的统一访问接口

本地的数据管理系统，包括各种关系型数据库、文件系统等异构系统

面向应用系统的统一编程接口

应用系统

数据库

SDG 概述（ 3 ）－体系结构

SDG 资源 / 系统平台（ 1 ）

• 科学 数据资源－科学数据库（ SDB ）

• 网格应用支撑环境－一个数据中心结点、三个数据分中

心结点、若干数据应用结点

SDG 资源（ 2 ）－科学数据库（ SDB ）

–分布式• 分布在全国的 40 多个建库单位

–异构 • 不同时期采用不同技术建设的 300 多个专业子库

–大规模• 10TB

SDG 资源（ 3 ）－网格应用支撑环境

一个数据中心结点、三个数据分中心结点、若干数据应用结点

• 数据资源：10TB 以上的科学数据

• 存储资源：15TB 以上的网络存储能力

• 计算资源： 1 千亿 /100 亿（数据中心 / 数据分中心）次以上的计算能力

SDG 系统平台软件

• 系统平台中间件 /SDG 中间件• 系统平台工具集• 网格门户

SDG 系统平台软件结构图

安全体系

通用数据管理工具

数据目录管理工具

访问控制工具包

信 息 服 务 子 系 统

数据访问子系统

证书管理 工具

数据量统计分析工具

系统平台中间件

应用服务

与工具集

其他

元数据

标准

通用元数据管理工具

SDG 中间件

• 信息服务子系统• 数据访问子系统• 安全体系

SDG 中间件－信息服务子系统

SDG 信息服务子系统 China-VO 的需求

对网格中的数据资源提供统一的信息服务

实现天文数据资源元数据目录服务

实现资源的描述与发现等功能

天文数据资源和服务的注册与发现

SDG 中间件－数据访问子系统

SDG 数据访问子系统 China-VO 的需求

为分布式异构数据资源提供统一的访问接口

实现对海量、分布式、多波段天文数据的统一访问

SDG 中间件－安全体系

SDG 安全体系 China-VO 的需求

身份认证（协议） VO 用户的身份认证

访问控制各天文数据库的本地访问控制

审计 统计 VO 用户对资源的访问情况

SDG 系统平台工具集

• 通用元数据管理工具• 数据量统计服务• 通用数据管理工具• 数据目录管理工具• 证书管理系统• 访问控制工具包• 图像数据处理工具 /服务• 存储资源共享服务

进展情况

进展情况• SDG Testbed / Access Grid

• SDG 系统平台软件－中间件－工具集

• 通用元数据管理工具 2.0版• 数据量统计服务 1.0版• 访问控制工具包 1.0版• 证书管理系统 1.0版• 图像数据处理服务与工具 1.0版

• VO

IT 人员与科学领域专家的合作

合作－天文

天文学家与 IT 专业人员的协作

合作－其它学科

China-VO 的许多技术难题同样也出现在高能物理、医学、生物学和地球科学等学科领域。这些难题的解决迫切需要 IT 专业人员的参与。与此同时，网格的发展与各学科领域专家的支持也是密切相关的。

谢 谢！