英特尔大数据的战略方向

苗凯翔 (Kai X. Miao)

CTO，中国数据中心软件部

2013年6月21日

大数据市场趋势

目前信息化的三大趋势

3

云计算

大数据多终端

2020年，全球数据量将突破40ZB，是2012年的14倍

我们的数字宇宙

什么是大数据？4个V

传统解决方案 大数据解决方案

数据容量

数据类型

刷新频率

价值

TB级

结构化

低/一次性

低

PB级+

非结构化

高/持续

高

大数据价值链的3C数据收集Collect• 整理旧数据

• 新数据源

• 提高数据质量

数据整合Consolidation• 批处理 vs. 实时处理

• 整合多种类型的数据

• 提供弹性

数据消费Consumptions• 商业智能/数据仓库

• 可视化

• 流程集成

© IDC   Visit us at IDC.com and follow us on Twitter: @IDC 6

中国大数据2020年，中国数据量将突破 8ZB，是2012年的23倍

Source：IDC 2013.5

13%

87%

2012

China ROW

21%

79%

2020

China ROW

0%

10%

20%

30%

40%

50%

60%

‐

100.0 

200.0 

300.0 

400.0 

500.0 

600.0 

700.0 

2010 2011 2012 2013 2014 2015 2016

US$M 中国大数据市场规模和预测, 2010‐2016

服务 Column2 基础架构 增长率

0%

10%

20%

30%

40%

50%

60%

‐

2,000 

4,000 

6,000 

8,000 

10,000 

12,000 

14,000 

16,000 

18,000 

2010 2011 2012 2013 2014 2015

US$M全球大数据市场规模和预测, 2010‐2015

服务 Column2 基础架构 增长率

快速增长的全球和中国大数据市场

Source：IDC 2013.5

35.4%

49.3%

55.2% 54.6%

49.4% 48.5%

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

2011 2012 2013 2014 2015 2016

中国市场IT投资增速预测, 2011‐2016

整体IT市场增长率 服务器市场增长率

云计算市场增长率 大数据市场增长率

大数据是中国最具潜力的IT市场

•未来5年中，中国大

数据市场将以每年增长50%左右的速度发展

•大数据市场的增速– 整体IT市场的4倍

– 服务器市场的5倍

– 高于同期的云计算市场

Source：IDC 2013.5

2011-2016 PRC Big Data Market Growth 2012 Big Data Markets

PRC Big Data Markets

Source：CCID 2012.12

Relative Market Size by SegmentsTransportation

EnergyGovernment

HealthcareTelco

Manufacturing HomeEducation

SIZE RATE Unit: 100M RMB

Financial

大数据行业应用广泛

文档管理和处理

欺诈检测

生命科学研究

网络应用优化

广告效果分析

用户流失分析

智能测量监控

IT/自动化设备监控

定价策略优化

交通流量管理和优化

社交网络和舆情分析

用户行为分析

IT基础架构优化

能源勘探

医疗智能分析

气象分析和预报

担保管理

法规适用分析

大数据可以为行业用户解决的问题

银行和金融服务

•防止金融犯罪

•通过客户挖掘提供提供优化产品

•根据风险管理和调整投资组合

政府和公共事业

•公共安全

•市民反馈（舆情）分析和处理

•重大事件 ( 电力、水利、疾病控制和其它应急处理)

通信

• 拓展销售

• 预防用户流失

• 基于LBS的行为分析和产品营销

大数据可以为行业用户解决的问题

零售

•购买行为分析，避免客户流失

•客户购买产品的交叉分析

•品牌溢价分析

制造

•优化库存降低持有成本

•设备预防性维护

•工业安全监控

能源

•数字油田

•库存估值和预测

•公共关系措施监控

英特尔机密，仅供内部使用14

英特尔大数据的战略方向

边缘传感器/设备的分布式分析需要基于标准、互联、托管、安全的端到端架构

通过提供优化的软件堆栈和服务推动大数据应用的创新与发展

通过合作伙伴协作推动大数据增长，注重实用模式示例和参考部署架构

英特尔在大数据领域5个战略方向

投资解决方案研究和学术协作

通过更快速、更高效的 CPU、存储、I/O 和网络架构加快大数据分析

分布式大数据端到端架构与方案

边缘服务器

大数据端到端解决方案

采集、存储、转换、分析、挖掘 • 嵌入式

• 云服务• 专有数据中心• 高性能计算中心

数据中心形态

数据中心方案选择大数据存储 – HDFS 实时数据库 – HBase

大数据分析 – Hadoop 高性能存储 – Lustre

终端设备丰富的数据可视化能力

数据分析和缓存

英特尔® 智能系统框架在大数据的应用

推动安全的互操作性 利用边缘数据 过滤数据

数十亿台设备之间和云之间需要共享数据

边缘系统需要实时响应流数据

数据体量增长速度超过网络和存储效率

英特尔® 计算平台针对大数据而优化

精选计算平台面向大数据而优化

Hadoop 和横向扩展分析/DW 引擎的优选解决方案相比上代产品性能提高多至 80%英特尔® 集成 I/O 和 PCI Express* 3.0 为大型数

据集提供更高带宽最新 DDR3 内存技术/容量可降低内存延迟

内存分析引擎和企业数据库的优选解决方案最出色的高速缓存和线程性能可支持大数据集处理多至 2TB 内存空间(4 插座平台)支持内存应用最高的可靠性和 8 插座以上的可扩展性

正确的分析平台基于英特尔至强处理器

多至四通道DDR3 1600 MHz 内存

多至 8 个内核

高达 20 MB 高速缓存

集成PCI Express* 3.0每插座最多40 通道

平台和软件优化支持 Hadoop

1 使用 2012 年 3 月 6 日前提交/公布的在 SPECfp*_rate_base2006 性能指标基准评测中取得的最佳 2 路服务器结果进行的性能对比。

2 资料来源： 英特尔测量数据，I/O 设备在闲置状态下从本地系统内存中读取数据所需的平均时间，英特尔® 至强™ 处理器 E5-2600 产品家族为 230 纳秒， 英特尔® 至强™ 5500 系列处理器系列为 340 纳秒。 请参阅备用页中的注释了解配置详情

*其它的名称和品牌可能是其他所有者的资产

•

• 与前一代相比，性能提升高达 80%– 英特尔® AVX - 缩短计算时间– 英特尔睿频加速 — 提高性能

• 英特尔 Hadoop 优化– 构建于开源版本之上– 定制调优数据类型和扩展方法

英特尔® 存储与网络技术助力大数据

大数据革新存储

数据爆炸式增长……

690%存储容量增长(2010-2015)*

传感大数据

企业大数据

网络大数据

企业大数据

结构化数据

非结构化数据数据量

时间

推动存储机遇

分布式存储

传统存储

至强提供存储智能

•重复数据删除•自动精简配置•擦除代码•Map reduce•加密

存储模式向大数据演进传统存储 分布式存储架构

• 设计面向结构化数据

• 降低部署速度

• 局限于单个站点

• “大规模”添加新分散存储以增加容量

计算 网络存储

管理

存储客户端

存储服务器

存储服务

元数据服务器

元数据服务

• 设计面向非结构化数据增长

• 提高部署速度

• 多个分布式站点作为单一设备管理

• 可添加节点从而扩展容量和性能

虚拟机 虚拟机 虚拟机 虚拟机

智能存储的收益优势

重复数据删除

智能分层 自动精简配置

实时压缩

之前 之后重复数据删除

应用 1

应用 2

应用 3

传统分配 自动精简配置

已分配但处于自由状态

已用

已分配但处于自由状态

已用

已用

已分配但处于自由状态

应用 1

应用 2

应用 3

系统级预留容量

多达 80% 的数据精简295% 的备份量降低1

多达 80% 的磁盘费用节省31IBM 存储联播，2011 年 11 月 9 日2IBM 存储联播，2011 年 11 月 9 日3 戴尔“流动数据存储：在数据中心内推动灵活性”，2011 年 2 月4 英特尔 IT 研究“解决英特尔 IT 面临的数据存储增长挑战”

多达 25% 的存储资本支出增长降低4

更加快速的万兆位以太网

借助万兆位以太网实现规模经济

4 倍 提升

性能测试中使用的软件和工作负载可能仅在英特尔® 微处理器上针对性能进行了优化。诸如SYSmark和MobileMark等测试均系基于特定计算机系统、硬件、软件、操作系统及功能，对这些因素的任何更改可能导致不同的结果。您应该查询其他信息和性能测试以帮助您对正在考虑的购买作出全面的评估，包括该产品在与其他产品结合使用时的性能。更多信息，请访问：http://www.intel.com/performance。 配置：资料来源：英特尔测量数据，I/O 设备在闲置状态下从本地系统内存中读取数据所需的平均时间,比较英特尔® 至强® 处理器 E5-2600 产品家族(230 纳秒)，对比英特尔® 至强® 处理器 5500 系列(340 纳秒)。请参阅备用页中的注释了解配置详情。

英特尔®大数据平台软件优化

英特尔对开源的贡献支持开源运营环境在英特尔架构上顺畅运行 打造开源生态系统并为英特尔及其合作伙伴开发新市场

上游 下游联盟基金

代码资本

OEM | 服务提供商 | 企业

应用层

可视化

分析层

界面与工具

大数据的分发

数据管理组件

硬件 –内存

存储 – Xeon

决策支持与 IT 服务

分析与 & 发现

基础架构与服务

数据组织与管理

英特尔在大数据上的优势

英特尔架构为相关的业界生态系统提供最佳应用与深度可视化的硬件环境

在英特尔架构上客户端与服务器端算法开发提供分析计算所需的性能和规模

英特尔平台上优化了的Hadoop，即时实施

英特尔的计算，储存和 IO 架构在性能与容量间求得最佳平衡以满足大数据应

用的需求

数据中心软件

英特尔研究院 英特尔数据中心部 英特尔软件服务部 英特尔IT部

英特尔拥有三万多名软件工程师！

英特尔数据中心软件方面的工作与产品

Hadoop/Big DataNext Generation Storage

OpenStackCloud Security 

Power ManagementSoftware  Defined Networking

Cloud Service AssuranceCloud Secure Gateway

Public‐Private Hybrid CloudIdentity Management

科研

开发

优化

社区

软件产品

英特尔® Distribution for Apache Hadoop

0

1000

2000

3000

4000

700

3500

• 侧重实时分析

• 增值管理器支持部署与监控

• 附加安全与合规控制

• 英特尔优化总体解决方案架构—分布，存储，网络，计算

• 垂直特性

• 业界领先性能

英特尔支持分布订购

开源 优化英特尔 IA/分布

10 倍实时任务性能提升

构建大数据生态环境数据库和计算基础设施 分析引擎

关系型

非关系型

VOLTDB

EXALYTICS

所有方案均经过优化，一些方案专门基于至强处理器

英特尔® 中国云计算创新中心加速大数据落地

数据中心硬件

100 台左右英特尔高端服务器

1PB 分布式存储

10G/1G数据中心网络和安全

高效节能模块化机房

交直流双路供电

水冷式空调

冷热通道隔离

云计算

虚拟化平台(ESXi/Hyper-V/KVM/Xen)

开源云管理平台(OpenStack, CloudStack

, …)

商用云管理平台(vCloud, SCCM, …)

分布式计算英特尔 Hadoop Distribution

企业计算

行业应用

智能交通

媒体云电信OCS

大数据分析

云运营管理系统 …平安

城市智慧医疗

英特尔中国云计算创新中心

1

2

3

大数据来了且快速增长

凭借软件与平台基础，英特尔做好了充分准备

英特尔致力于投资新技术以解决未来更加苛刻的大数据需求，帮助生态系统加速大数据落地

总结

非常感谢！