2006 年 10 月
DESCRIPTION
2006 年 10 月. 面向数据处理的高端系统. 胡雷钧 浪潮公司. 高性能计算系统构成. 面向数据处理的高端系统. 具有较高综合能力的计算机系统 ---- 高效能系统 注重系统的实际应用效果,注重性价比和总体拥有成本 用于有挑战性的应用领域,解决复杂问题 空间探索、生命科学、气象模式、高能物理、理论化学 面向海量数据处理,需要高计算性能 应用基于海量数据,需对海量数据进行处理(变换、分析、筛选) 应用需要较强的计算能力 具有较大的系统规模 系统处理器规模、节点规模、存储器规模较大 系统的空间占用、能源消耗直接影响系统的拥有成本. C I/O Unit. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/1.jpg)
2006 年 10 月面向数据处理的高端系统
胡雷钧 浪潮公司
![Page 2: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/2.jpg)
2
高性能计算系统构成
![Page 3: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/3.jpg)
3
面向数据处理的高端系统具有较高综合能力的计算机系统 ---- 高效能系统
注重系统的实际应用效果,注重性价比和总体拥有成本用于有挑战性的应用领域,解决复杂问题空间探索、生命科学、气象模式、高能物理、理论化学
面向海量数据处理,需要高计算性能应用基于海量数据,需对海量数据进行处理(变换、分析、筛选)应用需要较强的计算能力
具有较大的系统规模系统处理器规模、节点规模、存储器规模较大系统的空间占用、能源消耗直接影响系统的拥有成本
![Page 4: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/4.jpg)
4
高性能计算系统的构成
……
…H
igh Speed S
witch P
ath
CPU Memory
CPU Memory
CPU Memory
CPU Memory C I/O Unit
S I/O Unit
SA
N ……
Manage Unit
…IPN
S I/O Unit
C I/O Unit
…… …
…
![Page 5: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/5.jpg)
5
议程国内外对高端计算研究上的差异国外主要的技术发展趋势在高端计算领域的机遇
![Page 6: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/6.jpg)
6
国内外对高端计算研究上的差异高端计算机=高性能计算= HPC = linpack ?高端应用=高性能计算 =高性能科学计算=数值计算?
HPC 并不是高端计算机的全部高性能计算实际是高端计算机的一个应用领域数值计算并不是高性能计算的全部
国际市场上 90 %以上的高端计算机面向商业应用80 %以上的高端计算机应用于数据处理( 2005 年 IDG 数据)95 %的高端应用并不需要 100 个节点的集群系统,而需要 4 - 32个处理器的 SMP 系统
![Page 7: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/7.jpg)
7
国内外对高端计算研究上的差异体系结构研究过于注重集群,在其他重要体系结构的研究上投入较少国内的高性能计算系统体系结构以集群为主对 SMP/NUMA 等体系结构的研究较少过于依赖国外底层技术,对处理器、芯片组、交换互连的研究投入不足重单一指标,不重综合指标重系统浮点计算性能指标,对综合应用能力的重视不够注重数值计算类应用强调高端系统数值计算能力(峰值浮点计算能力、 LINPACK )不重视 OLTP 指标、 SPECWEB 指标等面向商业应用的指标在高性能计算领域注重计算能力的提升,对应用模型、算法、并行编程工具、并行程序的调试与优化方面的研究有待进一步加强
![Page 8: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/8.jpg)
8
国内外对高端计算研究上的差异高性能计算是一个产业还是一个应用领域?
产业注重主要的市场需求,首先满足主要的市场需求主要的市场需求是面向高端的商业应用高性能计算是高端计算机系统的一个主要应用领域
高效能还是高性能?国外的技术发展趋势:从注重计算能力到注重系统的综合效能注重系统的性能功耗比、系统面向不同应用的综合处理能力、系统可持续提供服务的能力、系统的数据处理能力、系统的事务处理能力
![Page 9: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/9.jpg)
9
如何改变?我们应该关注什么方向?从满足高端关键应用的角度考虑国外的发展趋势,考虑我们的战略布局高效能追求系统的性能功耗比追求系统的数据处理能力追求系统性能的平衡计算能力的提升与获取数据的能力提升平衡计算能力的提升与 I/O 能力的提升平衡发展追求系统资源的有效利用追求对适合多种不同应用
![Page 10: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/10.jpg)
10
议程国内外对高端计算研究上的差异国外主要的技术发展趋势在高端计算领域的机遇
![Page 11: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/11.jpg)
11
普适化计算的发展
![Page 12: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/12.jpg)
12 高效能计算和海量数据处理将成为社会信息与服务的基础
![Page 13: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/13.jpg)
13 相关产品和产业的发展事关国家长远发展和国家信息化社会建设的政治经济安全概念层
普适计算 巨系统研究层
实用层
虚拟存储 虚拟计算 高效能计算分层存储 智能网络存储 协议与安全 高可信
海量数据处理
高效能服务器 海量存储 虚拟现实 低成本计算机以海量数据为基础的全面信息服务和应用
![Page 14: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/14.jpg)
14
国外主要的技术发展趋势多核技术是提高性能功耗比的有效方法,是提高系统数据处理能力的有效方法
多核技术带来的最主要的变化之一是性能功耗比的提升多路交换系统总线技术是提高系统综合能力的有效方法
平衡计算能力与内存带宽平衡计算能力与 I/O 总线带宽
虚拟化技术是提高系统资源综合利用率的有效方法虚拟化技术通过重建边界或打破边界彻底改变了系统资源的分配方法
基于开放标准的高速互连技术是平衡计算能力与 I/O 能力的有效方法,是高端系统适应多种应用的一个重要发展方向
![Page 15: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/15.jpg)
15
处理器向多核演进
![Page 16: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/16.jpg)
16向多内核的演进
0%
30%
60%
90%
Q3’05 Q4’05 Q1’06 Q2’06 Q3’06 Q4’06FORECASTFORECAST
SINGLE-CORE*SINGLE-CORE*
MULTI-COREMULTI-CORE
100%100%
85%85%
![Page 17: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/17.jpg)
17
20072007 年之后年之后
双路双路 SMPSMP 系统系统4-84-8 个内核个内核44 个线程个线程
20062006 年年
双路双路 SMPSMP 系统系统 双内核双内核 44 个线程个线程
19951995 年年
双路双路 SMPSMP 系统系统 两个内核两个内核22 个线程个线程
超线程(超线程( HTHT )技术)技术 多内核多内核对称多处理对称多处理
向多内核的演进
![Page 18: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/18.jpg)
18 向多内核的演进
2000 2008+
利益利益
2006
多核多核
预测
单核单核
性能性能每瓦性能每瓦性能
吞吐量 吞吐量扩展性扩展性
业界革命性的转折点业界革命性的转折点
转折点
![Page 19: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/19.jpg)
19 多核提高性能功耗比、提高数据处理能力
Q4‘05
SPECint_rate
2H‘06 20071H‘06
1.5
1.8
2.0 2.0
2.8
2.1
3.9
3.4
Opt
eron
* 28
0 (2
.4G
Hz)
PaxD
P 2.
8/LH
800
Dem
psey
3.7
3/BF
1066
Opt
eron
* 2.
6 (s
ocke
t F)
Woo
dcre
st 3
.00/
BF13
33
Opt
eron
* 2.
8 so
cket
F
Clov
erto
wn
2.67
/BF
1066
Opt
eron
* Q
uad
Core
0%
50%
100%
150%
200%
250%
300%
350%
400%
2H’05 1H’06 2H’06 20071H’05
SPECint_rate per System Watt
Irw
inda
le
Paxv
illeD
P
Opt
eron
DC
2.4
Dem
psey
95W
Opt
eron
DC
sock
et F
2.6
Woo
dcre
st
Opt
eron
DC
sock
et F
2.8
Clov
erto
wn
Opt
eron
QC
sock
et F
![Page 20: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/20.jpg)
20
• Single-Core• MP front-side bus• Large CPU cache• Centralized Memory
DDR-II, 200
Chipset
FSB 400
2003 - 20042003 - 2004
DDR2 400
Chipset
DIB 800
• Dual-Core• Dual-independent bus• Cache per core• Memory capacity
2005 - 20062005 - 2006
FBDDHSI• Quad-Core• Dedicated buses• Shared CPU Caches• Chipset Snoop Filter• Next Gen Memory
2007 - 20082007 - 2008
Snoop Filter
• Multi-Core• New Bus Architecture• Improved Cache and Memory Architecture
FutureFuture
CHIPSET
系统总线的演进
FSB BW peak
Memory BW peak
Memory Capacity
2004
6.4 GB/s
6.4 GB/s
16 GB(DDR2-400)
2008 2006 vs. 2004
64 GB(FBDIMM)
17 to 2117 to 21†† GB/s GB/s
up to 21 GB/s up to 21 GB/s (FBD-667)(FBD-667)
up to 3x
up to 4x
![Page 21: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/21.jpg)
21
虚拟化技术的演进促进资源的充分利用资源分拆的虚拟化
将高性能系统分拆成若干虚拟机
![Page 22: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/22.jpg)
22
虚拟化技术的演进促进资源的充分利用资源整合的虚拟化
将多台物理设备整合成一台虚拟机
![Page 23: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/23.jpg)
23 高速互连技术的演进促进高端系统的综合应用能力整合存储 I/O 、通讯、数据同步、管理网络的高速互连技术将是未来系统间互连的主流
![Page 24: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/24.jpg)
24
高速互连技术的演进Infiniband 在存储领域将有快速发展
可以实现多种存储协议,并有较高性能可支持块设备协议、文件共享协议( NAS )、并行文件系统协议
![Page 25: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/25.jpg)
25
高速互连技术的演进高速互连带宽持续提升已接近系统总线的传输速度
![Page 26: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/26.jpg)
26
高速互连技术的演进高速互连带宽持续提升已接近系统总线的传输速度
![Page 27: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/27.jpg)
27
高速互连技术的演进高速互连带宽持续提升
2008 年将达到 20Gb-40Gb
通信延迟将进一步降低2008 物理通信延迟达到几十 ns
![Page 28: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/28.jpg)
28
高速互连技术的演进对等带宽方式的互连方法是 IB 互连的基本方式
![Page 29: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/29.jpg)
29
高速互连技术的演进Torus (立方体)互连是 IB 的新的互连方法
![Page 30: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/30.jpg)
30
高速互连技术的演进基于 IB 的 TORUS 互连
![Page 31: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/31.jpg)
31
从机架式结构到刀片式结构的演进刀片式结构将是主流
![Page 32: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/32.jpg)
32
存储虚拟化技术存储虚拟化设备级文件系统级服务级
![Page 33: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/33.jpg)
33
基于存储实现虚拟化
将虚拟化层放在存储设备的适配器、控制器等上来实现的
![Page 34: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/34.jpg)
34
基于主机现实虚拟化
将虚拟化层放在服务器上实现的
![Page 35: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/35.jpg)
35
基于网络实现虚拟化
![Page 36: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/36.jpg)
36
基于虚拟化技术的并行存储系统
![Page 37: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/37.jpg)
37
议程国内外对高端计算研究上的差异国外主要的技术发展趋势在高端计算领域的机遇
![Page 38: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/38.jpg)
38
面向海量数据的应用将是未来市场的主流,是市场上商用高端系统的主要增长点
![Page 39: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/39.jpg)
39
无线通信在线视频科学研究
电子商务客户管理
数据
数据分析
企业应用
电子政务
70 年代 80 年代 90 年代 2000 年 新世纪头 10年
基础 OA
数据量爆炸数据量爆炸
数据量高速增长
![Page 40: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/40.jpg)
40 海量数据处理的需求趋势与市场机会科研应用领域对海量数据处理的需求空间探索、数字天文台、高能物理、生命科学石油勘探、油气田模拟气象预报与气象模式研究飞机船舶设计IPTV 和数字媒体对海量数据处理系统的需求为满足点播需求 , IPTV运营商必须存储和处理大量的视频数据,需要海量数据处理系统
50个公共频道一天的数据量约为 4320GB=4.32TB为保障点播质量,在小区内一般会设置视频数据缓存或 CDN 海量数据缓存服务器 (内容分送网络服务器,附带数据缓存存储设备 ) 预计 2008年全国 IPTV用户数将达到 6000万3G移动通讯对海量数据处理系统的需求
3G移动通讯将在十一五期间正式运营 ,3G 业务将派生多种多媒体应用视频电话、基于手机的媒体点播、视频短信、多媒体邮件、视频直播、手机视频游戏这类业务的发展,需要大量的存储系统由于存储内容、缓存内容假设平均每个 3G 用户将需要 1GB的存储空间,按照 4000万 3G用户计算, 3G 应用未来将需要存储容量: 40P下一代互联网建设使基于因特网的存储服务成为可能这种趋势将催生一批互联网存储服务商,并产生巨大的网络海量存储系统的需求,平均一个用户存储10G 数据, 100万用户将需要 1PB的存储容量
![Page 41: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/41.jpg)
41 海量数据处理的需求面向海量数据的应用将是未来市场的主流,是市场上商用高端系统的主要增长点面向海量数据处理的高端系统必须满足如下需求系统可以实现PB级海量数据的存储、处理和传输系统需要支撑几十GB/s的数据访问流量由于面向海量数据应用的特点,海量数据处理系统往往面对大量的并发访问,要求系统设计要均衡计算能力与 I/O能力海量数据库应用,要求系统能够基于同一组数据进行大规模并行数据处理,计算单元间需要高速交换通道进行数据同步和数据共享由于系统构成复杂,系统的可靠性可用性设计将是系统设计的难点未来应用的数据积累速度会以每日 TB 的规模增长,并发用户数量也会持续增长,需要海量数据处理系统有较高的可扩展性对高端计算机的能力需求数据处理能力数据 I/O 能力系统可靠性系统利用率系统功耗性能比
![Page 42: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/42.jpg)
42系统示意图
VSMP 硬件体系结构…
……
High S
peed Sw
itch Path
CPU Memory
CPU Memory
CPU Memory
CPU Memory C I/O Unit
S I/O Unit
SA
N
……
Manage Unit
…IPN
S I/O Unit
C I/O Unit
…… …
…
![Page 43: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/43.jpg)
43
AS330G2AS330G2
最新浪潮存储产品线
AS200AS200
性能AS 系列
AS300AS300
存储系统
CX300CX300 、、 500500 、、 700700
CX 系列
价格
AS500AS500
AS600&600GAS600&600G22
AS1000&1000GAS1000&1000G22
![Page 44: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/44.jpg)
44
AS500简介 3U 机架, 15槽位 可同时支持 iSCSI 和 FC 单、双控控制器 支持 SATA硬盘 标配 P4 CPU; 2×512MB DDR ECC 内存,最大 8GB 支持 RAID0 、 1 、 5 、 10 多种级别 可支持 256 个 LUN AS Manager管理软件实现快照、硬件监控等高级功能 IOPS 8,4000 传输带宽: 680MB/s
随需而变、弹性架构随需而变、弹性架构
![Page 45: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/45.jpg)
45
AS500内部体系架构
风扇风扇 风扇风扇风扇风扇电源电源
电源电源后备后备电源电源
控制器 1CMI
后备后备电源电源
控制器 2
FC x 2镜像缓存
SATA/SAS×4CPU
iSCSIx 2 FC x 2镜像缓存
SATA/SAS×4CPU
iSCSIx 2
HDM HDMHDM HDM
HDM
HDM
HDM
HDMHDM HDM
HDM
HDM
HDMHDM
HDM
模块化,全冗余结构同时支持 FC 、 iSCSI
![Page 46: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/46.jpg)
46 AS500应用案例—国务院信息办( FC SAN)
•山东移动•北京石景山政府•安徽信息产业厅•黑龙江省委党校•山东大学•华师数学系•……
![Page 47: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/47.jpg)
47 AS500推荐应用— IP SAN & FC SAN
部分性能要求较高的服务器通过 FC 连接大量性能要求较低的服务器通过 IP 连接性能按需分配,共享存储,达到最佳的性价比
![Page 48: 2006 年 10 月](https://reader033.vdocuments.mx/reader033/viewer/2022061517/56814af3550346895db80434/html5/thumbnails/48.jpg)
48
谢谢大家 !