网格概述
DESCRIPTION
网格概述. —— 网络新技术组 杨璐. 提 纲. 网格的内涵和基本概念 网格体系结构 网格相关技术 网格在国际国内的发展 Globus 项目和 Globus Toolkit 简介 思考:我们做些什么?. 网格的内涵和基本概念. 广义和狭义概念(仅供参考) 网格内涵 网格目的 网格的基本要求 网格的应用领域 网格的特点 概念上的分歧 网格需求. 网格的广义概念. 网格是一个集成的计算与资源环境,或者说一个计算资源池。 网格能够充分吸纳各种计算资源,并把它们转成一种随处可得的,可靠的,标准的,经济的计算能力。 - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/1.jpg)
网格概述 —— 网络新技术组 杨璐
![Page 2: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/2.jpg)
提 纲 网格的内涵和基本概念 网格体系结构 网格相关技术 网格在国际国内的发展 Globus 项目和 Globus Toolkit 简介 思考:我们做些什么?
![Page 3: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/3.jpg)
网格的内涵和基本概念 广义和狭义概念(仅供参考) 网格内涵 网格目的 网格的基本要求 网格的应用领域 网格的特点 概念上的分歧 网格需求
![Page 4: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/4.jpg)
网格的广义概念 网格是一个集成的计算与资源环境,或者说一
个计算资源池。 网格能够充分吸纳各种计算资源,并把它们转
成一种随处可得的,可靠的,标准的,经济的计算能力。
计算资源包括各种类型计算机,网络通信能力,数据资料,仪器设备,甚至人等各种相关资源。
网格计算是基于网格的问题求解。
![Page 5: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/5.jpg)
网格的狭义概念 网格资源就是指分布的计算机资源。 网格计算就是指将分布的计算机组织起
来协同解决复杂的科学与工程计算。 狭义的网格被称为计算网格。
![Page 6: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/6.jpg)
网格的内涵
![Page 7: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/7.jpg)
网格目的
![Page 8: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/8.jpg)
网格目的
![Page 9: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/9.jpg)
网格的基本要求 可靠性要求
网格提供的计算能力必须是连续,稳定,安全的。 标准化要求
网格资源之间应该有统一的可以相互访问的接口。 向用户提供的计算能力应该满足一定标准。
易访问性要求 不受时间、地理位置和用户使用的系统的限制。
价格低廉要求 网格的使用者能够普遍接受。
![Page 10: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/10.jpg)
网格的应用领域 计算网格
分布式超级计算 高吞吐率计算 数据密集型计算
组织和商用网格 基于广泛信息共享的人与人交互 更广泛的资源贸易
![Page 11: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/11.jpg)
网格的特点 分布与共享 自相似性 动态性与多样性 自制与管理的多重性
![Page 12: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/12.jpg)
网格的特点 ——分布与共享
![Page 13: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/13.jpg)
网格的特点 ——自相似性
![Page 14: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/14.jpg)
![Page 15: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/15.jpg)
网格资源的动态增加 网格资源的动态减少 网格资源的异构多样 网格的扩展要求体现在规模、能力、兼
容性等几个方面
网格的特点 ——动态多样
![Page 16: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/16.jpg)
网格的特点 ——自治性与管理多重性
网格上的资源,首先是属于某个组织和个人的
网格资源的拥有者对资源有最高级别的管理权限
网格资源也必须接受网格的统一管理 矛盾??
![Page 17: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/17.jpg)
网格概念的分歧 网格就是下一代的 Internet!!! 网格计算就是在动态变化的、拥有多个部门或者团体
的复杂虚拟组织( Virtual Organization )内,灵活、安全地协同资源共享与问题求解。所谓虚拟组织就是一些个人、组织或者资源的动态组合。
网格就是方便资源管理,有效支持广域分布的、多领域的科学与工程问题解决的中间系统。
网格是建造分布式科学计算环境的一种一体化的集成方法,这一环境包括计算、数据管理、科学仪器以及人类协作。
![Page 18: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/18.jpg)
网格概念的分歧 网格是一种无缝的、集成的计算与协作环境。 网格是基于硬件支持的各种服务和功能的提供
者。网格可以得到以前不能得到的特有功能,而且不是通过其他方法得到的。
网格计算就是分布式并行计算!!! …………………… 一群人在炒概念??
![Page 19: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/19.jpg)
网格需求 计算的重要性
计算和理论与实验并列成为第三种重要的科学研究方式。
复杂的科学与工程问题的建模与模拟。 医疗诊断,工业设备控制,天气预测。 股市管理,银行系统,办公系统,订票系统,电子商务,电子政务。
![Page 20: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/20.jpg)
网格需求 问题的需求
天文学研究中天文望远镜海量数据的处理。 数字化人脑研究中的海量数据处理。 核物理研究中的高性能超级计算。 地球观察,气候模型,地球物理,地震模型,流体,空气动力设计,污染物扩散分析……
医学,生物学基因组研究,人类和其他物种的基因数据库分析研究。
虚拟实验室研究等。
![Page 21: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/21.jpg)
网格体系结构 五层沙漏结构 开放网格服务体系结构( OGSA)
![Page 22: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/22.jpg)
五层沙漏结构 以协议为中心 也强调服务与 API 和 SDK的重要性 随时间变化的动态的共享 资源之间互操作 实现互操作的协议 建立在协议基础上的服务 上层开发 API 和 SDK
![Page 23: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/23.jpg)
五层沙漏结构
![Page 24: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/24.jpg)
五层沙漏结构
![Page 25: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/25.jpg)
开放网格服务体系结构 OGSA以服务为中心 具有统一的Web Service框架 Web Service 解决了发现和激活永久服务的问题 OGSA提出了网格服务( Grid Service )的概念,可
以支持临时服务实例 突破了科技应用领域 Globus 和Web Service 是两大支撑技术 网格 = {网格服务 }
![Page 26: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/26.jpg)
开放网格服务体系结构
![Page 27: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/27.jpg)
建造网格的建议 国家行为
基础性设施,前期投资庞大,工期长 有风险
从局部到整体 从小规模的网格开始到大规模网格
利用市场经济杠杆 建设成未必代表大家愿意使用 用户群??
![Page 28: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/28.jpg)
网格技术
![Page 29: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/29.jpg)
网格技术
![Page 30: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/30.jpg)
网格技术 网格应用技术
分布式超级计算应用 实时广域分布式仪器系统 数据密集型计算 远程沉浸
![Page 31: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/31.jpg)
网格技术 网格编程技术
编程支持系统 面向对象技术及 Legion 基于商品化技术集成的网格编程 数值计算编程环境 NetSolve
![Page 32: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/32.jpg)
网格技术 网格核心服务技术
高性能调度技术 高吞吐率资源管理技术 性能数据收集、分析可视化技术 安全技术
![Page 33: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/33.jpg)
网格技术发展 萌芽阶段
90年代早期,主要是千兆网的测试床以及一些元计算的实现
早期实验阶段 90年代中期到晚期, I-WAY项目, Globus , Legio
n 迅速发展阶段
2002 年以来, IBM, Platform,Microsoft , Sun ,Compaq等公司投入
Globus Toolkit GGF组织, 500多人, 20多国家
![Page 34: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/34.jpg)
世界范围内的网格计算项目 美国自然科学基金资助的 PACI ( Partnership for Advanced Computational Infrastructure ),包括两个重要部分 NCSA( National Computational Science Alliance )和 NPACI ( National Partnership for Advanced Computational Infrastructure )。这一项目通过将学术界、政府部门和工业界的力量结合起来,建立一个网格计算基础设施的伙伴联盟。
美国 NASA( National Aeronautics and Space Administration )构造了一个网格计算实验床,称为 IPG( Information Power Grid)。解决科学与工程计算与数据管理等问题。
![Page 35: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/35.jpg)
由美国能源部( Department of Energy)和三个国家重点实验室Sandia, Livermore 与 Los Alamos 共同承担的 ASCI ( Accelerated Strategic Computing Initiative )计划,是一个主要用于军事目的的高性能发展计划。在不进行物理核试验的情况下,通过计算模拟来开展核武器的全面研究。
美国地球系统网格( ESG )。 欧洲的数据网格项目( DataGrid)。 美国地震网格( NEESgrid)。 美国军事网格 ( GIG )。
世界范围内的网格计算项目
![Page 36: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/36.jpg)
世界范围内的网格计算项目 Access Grid Condor EcoGrid Globus Legion NMI 计划 SinRG Polder MOL
![Page 37: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/37.jpg)
一些网格应用和库 AppLeS Cactus 计算工具包 CAVERNsoft CrADS网格应用开发软件 网格协作门户(包括 NASA, NCSA, SDSC) NEOS Netsolve Nimrod/G PUNCH
![Page 38: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/38.jpg)
一些网格应用和库 一些商业界在网格计算方面的努力
P2P工作组 Avaki Entropia Gridware InSars
在日本网格项目有 Ninf 最重要的网格应用开发软件包 Globus Toolkit ,
目前已到 3.0x 版本,支持OGSA
![Page 39: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/39.jpg)
网格建造方面 NCSA建造了NTG ( National Technology G
rid)。 后来又出现了STARTAP( Science Technology And Research Transit Access Point ),它将进一步扩展为连接全世界的网格即 IGrid( International Grid)。
![Page 40: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/40.jpg)
国内网格的发展情况 刚刚起步阶段 中科院牵头的“国家高性能计算环境”( National High Performance Computing Environment ,简称 NHPCE),长期目标是提高计算网格系统的性能、可扩展性及可用性。目前包括北京、长沙、合肥、成都、上海、西安等几个实验点。
由清华牵头,教育部支持的重点项目“先进计算基础设施北京上海试点工程”,目的是建立一个主要为教育系统各单位提供资源共享的科研、教育、培训等高性能计算基础设施,实现跨学科、跨地域合作及人才培养。
![Page 41: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/41.jpg)
国内网格的发展情况 2002年国内启动的 863信息领域高性能计算机及其核心软件专项是一个网格计算项目。
以“需求牵引,技术跨越,多方协作,聚焦网络”为指导思想。 以实现高性能计算机及其核心软件技术跨越为目标。 研制能有效支持科学工程计算、新一代因特网信息服务和数据
应用。 具有资源共享、协同工作能力的国家高性能计算环境。 将高性能计算服务送到科教、企业、政府等各方面用户的桌面
上。 推动我国网格应用及其产业的发展 提高我国综合国力和国际竞争能力。
![Page 42: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/42.jpg)
Globus 简介部分 Globus 的起源和发展 Globus 系统结构 Globus Toolkit 简要说明
![Page 43: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/43.jpg)
Globus 的起源 国际上最有影响力的网格计算项目之一。 发起于 90 年代中期。 最初目的希望把美国境内各个高性能计算中心通过高
性能网络连接起来方便美国的大学和研究机构使用,提高高性能计算机的使用效率。
当时在美国建立了一个实验环境—— I- WAY,它把位于美国 17个不同地点的 60多个组织的超级计算机和资源通过高性能网络连接起来。
I-WAY 进行大规模科学模拟,协同计算,并行工程等科学研究,这实际上是 Globus 的前身。
![Page 44: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/44.jpg)
Globus 的发展 初始阶段,美国 10多所大学和研究机构参与了该项目的研究工作。
Globus 工具包是最重要的研究成果。 1999 年推出第一版,之后是 1.13和 1.14版。 2002 年推出 2.0 版。 最新的 Globus Toolkit 是融合了Web Service架构和技术的,支持OGSA的 3.0 版。目前还在完善之中。 3.0.2是最新版本。
![Page 45: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/45.jpg)
Globus 系统结构( 2.x)
![Page 46: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/46.jpg)
Globus 系统结构( 3.0)
![Page 47: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/47.jpg)
Globus Toolkit 的内容 针对 Globus 项目中提出的各种协议,提供了
一系列服务( service )、软件库、编程接口( API )和使用例子。
Globus 工具包主要实现 4个方面的内容 网格安全 网格信息获取与分布 网格资源管理 网格远程数据传输
![Page 48: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/48.jpg)
Globus Toolkit 简要说明 Grid Security Infrastructure ( GSI )
网格安全基础设施 广域网下的安全认证和加密通信 提供单点登陆功能,远地身份鉴别功能,数据传输加密功能 是网格计算安全性的核心部分
Globus Resource Allocation Manager ( GRAM) Globus 资源分配管理 负责远程应用的资源请求处理 负责远程任务调度处理和远程任务管理 是网格计算环境的任务执行中心
![Page 49: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/49.jpg)
Globus Toolkit 简要说明 Metacomputing Directory Service (MDS)
元计算目录服务 对网格计算环境中信息的发现、注册、查询、修改等工作 提供对网格计算环境的一个真实、实时的动态反映 基于 LDAP协议 是网格计算环境中的信息服务核心。
Global Access to Secondary Storage ( GASS) 全局二级存储服务 简化了应用程序对远程文件 I/O的操作 支持网格计算环境远程 I/O访问的中间件
![Page 50: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/50.jpg)
Globus Toolkit 简要说明 GridFTP
网格 FTP服务 一个高性能,安全,可靠的数据传输协议 针对高带宽的广域网进行了优化 支持第三方传输、断点续传、并行传输、与 GSI 结合的安全认证,是网格计算环境中的数据传输工具
Globus Reblication Management ( GRM) 把部分相关数据智能地放置在离科学应用程序最近的位置 使科学应用程序可快速地对数据进行访问
![Page 51: 网格概述](https://reader031.vdocuments.mx/reader031/viewer/2022012916/56812abc550346895d8e7fdc/html5/thumbnails/51.jpg)
思考:我们做些什么?