让数据“慧”说话—— 华为FusionInsight大数据平台能力与实践

议题

目录

1.华为积极推动大数据标准与生态发展

2. 华为大数据解决方案

大数据是华为管道战略的重要支柱

Source: Huawei corporate presentation

• 全球8个研究所，保持1000+的研发投入；

• 拥有社区Committer、 IEEE Fellow等世界级数据

挖掘和人工智能专家；

• 截止2016年12月，华为大数据取得专利190+，其

中发明公布136件，发明授权 54件。

Pro

fessio

nal S

ervice

Big Data Analytics Platform

Data Center Infrastructure

Core Network

IP+Optical

FBBEnterprise Network

MBB

Things(M2M Module)

People(Smart Device)

EnterpriseApps

SDPBSS/OSS

3rd

Partners

Content & App

3rd ISVs

聚焦平台，携手合作伙伴构筑大数据生态

公共安全 金融 电信 政务 …

大数据平台 FusionInsight

行业合作伙伴

聚焦平台战略，源于土壤的精华，源于数据

的智慧

打造云化、融合、开放的大数据平台

构建高性能机器学习引擎及智能分析服务

统一安全框架，安全运营实时感知

多类型、多领域发展大数据合作伙伴生态体系

安全

计算

开放

算法数据

华为是大数据生态建设的倡导者、践行者、引领者

Top 3 Top 4

Data

brick

sIn

tel

Clo

ud

era

Hu

aw

ei

Meitu

an

Ap

pie

rH

otm

ail

Ho

rton

wo

rks

Clo

ud

era

Hu

aw

ei

Inte

lY

ah

oo

NTT

Du

bo

ce

• 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。

• 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。2017年4月，Apache

CarbonData成为社区顶级项目。

开源项目

CarbonDataSreamCQL

… …

2015~2016年统计数据

ISO/IEC

JTC1 SC32

数据库语言新技术设计说明

华为积极参与中国大数据标准制定

国家大数据标准工作组副组长工作单位

国家大数据标准工作组国际专题组组长

信息技术

大数据存储与处理平台技术要求

信息技术

大数据基于参考架构下的接口框架

信息技术

大数据系统通用规范

信息技术

大数据存储与处理系统功能测试规

范国家标准制定

信息技术

大数据系统运维和管理功能要求

大数据参考架构接口特设组主席

ISO/IEC

JTC1 WG9

大数据概述和术语

ISO/IEC

JTC1 WG9

大数据参考架

构

国家标准申请 联合编辑

华为积极参与大数据标准实践

2016年首家参加<大数据系统通用规范>标准验证测试 ,通过扩展级

2017年首批通过<大数据系统通用规范>标准正式测评, 通过扩展级

开放共赢，可信赖合作伙伴

金融大数据联盟成立

上海联通合作创新展示中心揭幕

大数据联合解决方案发布

议题

目录

1.华为积极推动大数据标准与生态发展

2. 华为大数据解决方案

华为FusionInsight大数据平台：云化、开放、融合

数据集成Porter

Sqoop

批量采集

大规模并行处理数据库

Apollo DB

Flume

实时采集

Oozie

作业调度管理

Kafka

消息管理

FtpOnHDFS

文件传输

管理平台Manager

大数据分析

关系型数据库服务

RDS

运维管理

配置管理

故障管理

性能管理

安全管理

… …

Hadoop生态发行版 HD

（HDFS、MapReduce、HBase、Hive、

Solr、Spark、Storm、Flink、Elk、

CarbonData 等核心组件）

数据洞察 Miner

（图分析引擎、机器学习、数据标签）

大数据云服务

数据智慧 Farmer

（实时决策引擎 Farmer RTD）

数据接入服务DIS

数据分析服务MRS、DWS、Stream、M-

OLAP…

人工智能服务MLS、NLP…

HD：为行业负载优化的大数据处理层

• 100%开源核心

• 支持从批处理、交互查询、数据挖掘，

到实时流处理等各种应用场景

• 根据行业需求进行优化

FusionInsight HD

HDFS -- 分布式文件系统

Flume

Sqoop

Kafka

YARN – 资源管理 HBase – NoSQL数据库

Zo

okeep

er –

分布

式锁

MapReduce Spark 内存迭代 Storm分布式计算框架

数据集成 批处理

Hive

Elk

Spark-SQL

机器学习

SparkR

MLlib

流处理

Spark-Streaming

CQL

实时查询

CTBase

Phoenix

Solr

Redis

分布式缓存

MPPDB：帮助企业构建高性能、PB级新数仓

数据迁移

SQL开发

集群管理

完备的工具链

FusionInsight MPPDB

64位Linux系列，通用X86架构（SUSE Linux、Redhat）硬件+OS

集群服务器-1 集群服务器-n

MPP大规模并行处理集群

SCTP大规模集群通讯网络

…

…

DN DN DN

DN DN DN

DN DN DN

DN DN DN

DN DN DN

DN DN DN

Core1

Core1Core

1Core

1Core1

Core1

Core1Core1

Core1

• 完备的SQL能力，应用平滑迁移

• 开放平台性能业界最佳

• 弹性伸缩支持PB级数据处理

Miner：一站式图形化大数据洞察平台

FusionInsight Miner

Miner Base

数据探索

并行化算法库(机器学习、图分析、时空数据分析)

模型管理

数据分析产品

图分析引擎(Weaver)

日志分析(Data Compass)

建模分析

标签管理

全流程；多维度；高性能；开放

Farmer：实时应用使能器，助力企业实时决策

平滑微服务化；易运维；高可用性；业务人员直接写规则

FusionInsight HD, Redis, RTD DB

MQ 消息队列ALB 接入负载均衡

…

Container 容器池

RTD执行

RTD编排

数据服务管理自定义应用1 自定义应用N

FusionInsight Farmer

大数据云服务概览

数据产生 数据接入 数据存储 数据分析和计算 数据开发和呈现

RDSFile

Web

Mobile

Log

Stream/IoT

DIS(数据接入)

DES(数据快递服务）

OBS

EBS

HBase

Redis

M-OLAP

DWS（MPPDB）

MRS

Search(Solr&ELK)

Stream

Tableau

ML

SAS

DataPipeline

DTA(数据传输加速)

Business Operator Huawei Partner

大数据云服务路标

2016.Q4 NOW 2017.Q2 2017.Q3 2017.Q4

MRS：MR

MRS：Spark（Spark SQL）

MRS：HDFS

MRS：Hive

MRS: HBase

DIS

M-OLAP

DataPipeline

MRS：MR

MRS：Spark（Spark SQL）

MRS：HDFS

MRS：Hive

MRS: HBase

MRS：MR

MRS：Spark（Spark SQL）

MRS：HDFS

MRS：Hive

MRS: HBase

DIS

M-OLAP

DataPipeline

MRS：MR

MRS：Spark（Spark SQL）

MRS：HDFS

MRS：Hive

MRS: HBase

ML

Streaming

DIS

M-OLAP

DataPipeline

MRS：MR

MRS：Spark（Spark SQL）

MRS：HDFS

MRS：Hive

MRS: HBase

Streaming

ML MLHuawei Enterprise Cloud

华为FusionInsight获市场研究机构认可

Gartner DMSA 魔力四象限报告Forrester TEI 研究报告：

中国太保大数据平台投资回报

华为大数据平台：服务全球700+客户（部分名单）

金融： 65%+ 市场份额电信： 41国家，200+项

目

其他行业：标杆客户的选择

打造新数仓，支撑业务向云化演进

“围绕“面向未来的金融IT基础架构”，华为MPPDB分布式数据

库满足我行业务弹性适配、信息互通共享、能力分布扩展的要求

，以传统架构继承发展和新架构创新变革相结合，助力我行实现

了数据仓库分布式改造，应对未来云化演进。”

客户需求和挑战: Teradata一体机+磁阵架构封闭，且只兼容一代硬件，扩容停机时间长，

且成本高昂

在整个系统中同一份数据存放在Teradata和Hadoop中，数据互通困难

现有架构无法支撑未来工行IT系统向云化演进的诉求

解决方案: 华为基于X86开放平台提供新一代融合数仓解决方案，通过MPPDB on

Hadoop特性可以直接访问Hadoop上的数据，且支持夸代硬件兼容，扩容

不停机等特性，一套系统解决了以前需要多套系统配合工作的状况，简化了

管理

客户价值: TCO降低：软硬件解耦，基于通用X86服务器避免Lock-in，支持跨代设

备共存，最大化保护硬件投资。

融合数仓：提供统一SQL接口，可以同时访问MPPDB和Hadoop数据数

据；一套系统中支持处理批量和联机查询（低频更新）混合负载。

展望未来，华为MPPDB即将提供云化DWS（Data Warehouse Service

），支持工行未来IT架构向云化演进。

构筑云上新数仓，支撑未来业务发展

让银行几秒钟完成信用卡征信核准

客户需求和挑战:

• 结构化数据库无法满足大数据数量、种类的快速增长

• 原有客户经营模式无法应对互联网金融挑战

解决方案:

• 构建基于大数据的第二平面，提升客户满意度

• 敏捷业务开发平台，实现快速开发部署

• 超百万维度数据分析挖掘平台，帮助实现业务创新

客户价值:

• 3-5秒钟完成信用卡征信核准

• 小微贷获客预测比提升40倍转化率

• 历史明细在线查询由一年提升到八年以上

重构客户经营的发动机

让城市更平安，犯罪率下降12%，人口管理效率提升50%

客户需求和挑战: 传统IT架构不开放，不符合技术发展趋势，演进困难

无法实现省市两级统一管控，效率低下

无法实现业务云化，可服务性体验差

解决方案: “一个平台”、“三个中心” 的大数据整体架构; 全省数据中心统一管理；

全省资源统一调度/统一运营维护，

高效大数据分析平台：高性能的分析计算分析能力，百亿级数据查询分析秒

级完成

智能大数据分析算法：实现关系发现、轨迹聚类、人车匹配、亲密度判别、

动态社团跟踪、数据碰撞等算法，完成大数据精确分析

客户价值: 全省特殊人群管理数在控率由30% 提升到近 80%

全省 “两抢一盗”案件同比下降 12%

简化工作：看守所，人员入所登记信息由54 项减少为 9 项

2年数据的车辆比对分析，从30分钟缩短到1分钟

助力警务智能化、实战化按照公安部规范，探索构筑可持续演进的云IT基础架构

多 彩 警 务 云 大 数 据 平 台

第 一 数 据 中 心 第 二 数 据 中 心三 个 中 心

资源服务平台

整 合 1 6 5 个 应 用 系 统

数 据 备 份 中 心

统 一 管 理 的 分 布 式 数 据 中 心

警务大数据平台警综云平台

案事件系统 指纹系统

数据总线服务

刑专系统 移动接入系统

…….人脸系统 研判分析

Thank You