oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用...

46
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle政府行业大数据及应用 施晓申 甲骨文(中国)软件系统有限公司

Upload: others

Post on 06-Jul-2020

37 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle政府行业大数据及应用

施晓申 甲骨文(中国)软件系统有限公司

Page 2: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

议程

1

2

大数据在国内政府行业的应用状况

Oracle大数据为客户带来价值

Oracle企业级大数据解决方案概览

案例介绍

2

3

4

Page 3: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

议程

1

2

大数据在国内政府行业的应用状况

Oracle大数据为客户带来价值

Oracle企业级大数据解决方案概览

案例介绍

3

3

4

Page 4: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

中国政府对大数据的重视 • 2012年12月,国家发改委数据分析软件开发和服务列入专项指南;2013年科技部将大数据列入973基础研究计

划;2013年度国家自然基金指南中,管理学部、信息学部和数理学部将大数据列入其中。北京成立“中关村大

数据产业联盟”。

政府和科研机构高度关

注大数据

• 2012年12月,广东省启动了《广东省实施大数据战略工作方案》。 2013年上海市科委发布了推进大数据研究

与发展的三年行动计划;2013年7月,重庆市人民政府发布关于印发重庆市大数据行动计划的通知。浙江省交

通运输厅宣布,将大数据引入交通管理,助力道路治堵;

各地政府正在探索大数

据与政府管理和发展之

间的关系 • 2012年10月,北京市各政务部门共同参与推出了北京政务数据资源网。上海智慧岛数据产业园、秦皇岛开发区

数据产业基地、中国国际电子商务中心重庆数据产业园等一批数据产业园区,

• 2012年12月,陕西启动建设“中国首个专业大数据产业园区”—沣西新城大数据产业园。

各地政府大数据项目推

出和产业园开始建立

•国家旅游局大数据平台,交通部全国营运车辆联网联控系统,交通部全国道路运政管理信息系统都已经在进行

• 2013年11月19日,国家统计局与阿里、百度等11家企业签署了大数据战略合作框架协议,共同在分享、开发、

利用大数据方面进行合作,以推动大数据在政府统计中的应用,促进大数据实现大价值,更好地服务于社会。

国家部委大数据项目

启动

• 2014年春节期间,中央电视台新闻频道推出“数据说春节”栏目,结合春运、年货、年夜饭等话题,通过网络

运营商的大数据支持,将大数据以老百姓能看懂的方式,展现在千家万户的电视屏幕上,可以说是大数据技术

在公共领域应用的一次有益尝试。

政府权威媒体聚焦大数据,

大数据走入寻常百姓生活

国务院反复强调建设政府

大数据

•2015年6月18日,大数据治国时代正式开启!国务院常务会议17日部署运用大数据优化政府服务和监管,提高行政效能。大力发展政务大数据,不仅在于打通部门壁垒、提高行政效率,更在于转变思维观念,助力向智慧政府转型。 2015年8月19日,国务院常务会议审议通过《关于促进大数据发展的行动纲要》。会议提到,推动政府信息系统和公共数据互联共享,消除信息孤岛,加快整合各类政府信息平台,避免重复建设和数据“打架”。同时提出,引导支持大数据产业发展,以企业为主体、以市场为导向,加大政策支持。

Page 5: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

我国政府大数据的背景和关注点

http://www.gov.cn/zhengce/2015-08/20/content_2916227.htm http://www.gov.cn/zhengce/2015-06/19/content_2881884.htm

政府信息融合公开是目前大数据环境下的一种趋势

Page 6: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

• 智慧工程: 盘活各地云计算中心资产,把原来大规模投资产业园、物联网产业园从政绩

工程,改造成智慧工程;

• 安防领域: 提高应急处置能力和安全防范能力;

• 民生领域: 提升服务能力和运作效率,以及个性化的服务,比如医疗、卫生、教育等部

• 金融领域: 解决在金融,电信领域等中数据分析的问题:一直得到得极大的重视,但受

困于存储能力和计算能力的限制,只局限在交易数型数据的统计分析;

政府大数据的应用价值

政府投入将形成示范效应,大大推动大数据的发展。

应用大数据技术,助力政府职能转变

Page 7: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

国内政府大数据项目基本状况 • 国家旅游局大数据平台

– 采集网上关于旅游方面的文章和反馈,分析网络旅游舆情

– 整合旅游局内部数据

• 交通部全国营运车辆联网联控系统 – 目标覆盖全国车辆2300万。目前每天8亿条轨迹信息一个月3T(最长30秒采集周期)。

– 二期项目大数据分析,采用Hadoop技术,分析巨量轨迹信息。

• 交通部全国道路运政管理信息系统 – 新一代的道路运政核心系统

• 城市大数据运营中心(当地政府主导) – 汇集地方政府各个部门的数据,为政府提供大数据分析和决策

Page 8: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

国内政府大数据项目基本状况

• 气象中心大数据 – 海量气象数据文件,单个文件很大接近800M,访问性能差。

– 考虑NoSQL存储方案,数据打散存储,提供读写和分析速度

• 地震局大数据 – 地震数据采集、管理和分析

• 卫计委人口大数据 – 金人工程,全国所有人口的健康和卫生医疗数据

• 工商大数据 – 工商总局发文建议各省建设要采用大数据技术

Page 9: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

国内政府大数据项目基本状况

• 智慧城市(公安主导) – 以平安城市为主,摄像头和车辆管理

• 各省公安警务云系统 – 提供基于Hadoop的大数据云能力

• 各省公安网监系统 – 基本上全是非结构化数据

– 基于Hadoop大数据的改造

• 各省公安综合资源查询系统 – 基于Hadoop大数据的改造

• 各省公安技侦系统 – 大量的非结构化数据

– 基于Hadoop大数据的改造

• 案件分析系统 – 非结构化数据分析

– 案件关联/罪犯关联/案情关联

– 公安、检察院、法院、纪委

Page 10: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

议程

1

2

大数据在国内政府行业的应用状况

Oracle大数据为客户带来价值

Oracle企业级大数据解决方案概览

案例介绍

10

4

3

Page 11: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

大数据应用的三个阶段

11

基础大数据 应用

全数据、流数据等大数据 行业应用

大数据创新及

跨界融合应用 Bigdata as a Service

Hadoop NoSQL数据库 关系型数据库

结合技术和数据,通过深度分析和预测,支撑和驱动业务

利用大数据共享和云平台,服务于上下游,打

造生态系统

Page 12: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle大数据解决方案为全球众多企业创造价值 全球众多的企业级客户实例验证

金融 制造 电信

金融创新,客户实时精准推荐

传感器数据实时收集,加速测试周期

提供基于位置数据的新服务,欺诈检测

零售

目标客户定位,更好地预测产品成功

服务

洞察客户,灵活定价,产业链整合

数据仓库扩展,全数据管理,支持决策

构建企业数据资源池,支持业务转型

客户360度视图,汽车质量和维修

为客户更快提供全面精准的用户分析

实时统一访问业务和决策系统数据

政府

基于全数据的犯罪模式识别和预测

基于客户画像提升客户体验

国际大型零售连锁超市

某国大型电信服务提供商

某国大型电信服务提供商

国际大型飞机制造商

国际领先汽车制造商

国际航空服务提供商

国内大型国有商业银行

某国铁路公司

某国警局 国际领先的日用品消费公司

某国领先的商业银行

国际领先的消费者分析公司

Page 13: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

大数据在企业的典型应用场景

13

情报分析

• 舆情监控

• 知识管理

• 运营和反馈分析

产品创新

• 需求分析

• 产品市场细分

• 反馈和改善

营销创新

• 客户洞察

• 向上交叉销售

• 精准推荐

服务创新

• 客户洞察

• 个性化服务

• 售后和维修

资源优化

• 快速可视化

• 质量控制

• 精益生产

风险管控

• 欺诈检测

• 风险预测与防范

全数据管理 / 企业统一数据资源池 / 数据仓库扩展

Page 14: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

50% 针对性优惠实现了销售提升

“这个大数据解决方案的实施将有助于CaixaBank银行保持在金融业前列的创新.”

Juan-Maria Nin, CEO

改变业务 • 西班牙国内最大的银行

• 从CRM和监管启动

• 所有相关数据的统一视图

• 交付新服务

• 为未来奠定基础

• 部署了Oracle Exadata和大数据一体机以及Oracle完整的大数据解决方案

14 Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Page 15: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

通过针对性优惠和提升玩家体验,获得收入提升

62%

通过大数据分析提升游戏体验

• 网络游戏,超过1亿全球玩家

• 每天处理3000亿个事件

• 对玩家分组和洞察

• 快速更正游戏运行问题

• 部署了Oracle高级分析,Oracle R企业版和连接器,Oracle大数据一体机和Oracle数据库。

15 Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Page 16: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

加速产品测试

• 管理和分发超过7000个传感器的数据,每次测试数据量超过2TB

• 为多团队提供快速,并发访问,缩短了分析时间,提供了针对后续测试调整和转变的能力

• 部署了Oracle大数据一体机和Oracle NoSQL数据库,实现了与Oracle数据库的集成

30%

加速了产品上市时间,测试和分析成本降低

16 Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Page 17: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

议程

1

2

大数据在国内政府行业的应用状况

Oracle大数据为客户带来价值

Oracle企业级大数据解决方案概览

案例介绍

17

3

4

Page 18: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

企业大数据建设的不同之处

互联网公司

新数据为主 开源软件

一切从头组装 技术即价值

大量的人力堆积 失败了推倒重来

企业级客户

传统业务数据为主,

扩展到新数据 商业化服务支持

更多精力在业务层面 简化架构和集成 简化管理和维护 逐步积累和完善

数据以结构化为主

多年IT建设积累,量>80%

高密度,高价值

开发和维护人员相对有限

聚焦管理和高层次分析

安全和可用性要求

与已有系统(数据仓库/业务系统)的集成

拥抱新数据和新技术,创新但不是颠覆

考虑总体拥有成本和投资回报

企业级客户的特点

18 Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Page 19: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

企业采用大数据面临的挑战

全数据管理

关注新数据,融合全数据,深入的洞察

力创造更大价值

Hadoop/NoSQL需要与现有数据架构

相融合,避免形成另一个“烟囱”架构

开发和分析

快速响应业务的需求,加快上线,支持

业务创新和提高竞争力

Hadoop/NoSQL等开源技术开发困难,

IT人员需要新的技能和经验积累

安全 遵从

法律法规遵从的要求;避免数据泄漏,

防止负面事件响应企业形象,

Hadoop/NoSQL等开源技术需要遵从

企业IT的合规、审计和安全要求

管理和运维

更关注在端到端的业务流程和模型,IT

人员总量相对控制,不会大幅度扩张

大型Hadoop/NoSQL集群的建设、管

理维护的难度和复杂性很高

业务部门 IT部门

19

Page 20: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle企业级大数据战略

端到端解决方案 开箱即用

简化架构和管理

统一SQL访问所有数据 开发效率高,

重用应用、技能和经验

结构化和非结构化 数据统一安全管控

SQL

集成 开发 安全 融合

20 Oracle Confidential

平台

工具+方法

应用

Page 21: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

执行

创新

#StrataHadoop -

Oracle Big Data

Architecture

完整的端到端大数据解决方案

数据仓库 数据工厂 数据池

数据流

数据平台

探索实验室

分析

开发接口

企业数据

其他数据源

数据流

业务数据

社交/日志 Model First Analytics

• 对于已知问题的分析 • 企业现有的报告 • 跨不同业务部门的仪表板

仪表板和报告

Data First Analytics

• 数据探索 • 数据可视化和交互 • 针对你不知道的问题领域

探索

• 远程信息处理 • 行业服务 • 物联网 • 情感

数据服务

Page 22: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

执行

创新

#StrataHadoop -

Oracle Big Data

Architecture

Oracle的端到端大数据解决方案

数据仓库 数据工厂 数据池

数据流

数据平台

探索实验室

分析

开发接口

企业数据

其他数据源

数据流

业务数据

社交/日志 Model First Analytics

• 对于已知问题的分析 • 企业现有的报告 • 跨不同业务部门的仪表板

仪表板和报告

Data First Analytics

• 数据探索 • 数据可视化和交互 • 针对你不知道的问题领域

探索

• 远程信息处理 • 行业服务 • 物联网 • 情感

数据服务

Apache Oracle NoSQL

Oracle CAF & OEP

Oracle Data Integration & Governance

Oracle Database & Big Data SQL

Apache Oracle Business

Intelligence

Oracle Big Data

Discovery

Oracle R

Oracle Big Data

Discovery

Page 23: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

#StrataHadoop -

Oracle Big Data

Architecture

Oracle的端到端一体化大数据解决方案

数据流

数据平台

探索实验室

Analytics

APIs 开发接口

分析

企业数据

其他数据源

数据流

业务数据

社交/日志

执行

创新

Model First Analytics

• 对于已知问题的分析 • 企业现有的报告 • 跨不同业务部门的仪表板

仪表板和报告

Data First Analytics

• 数据探索 • 数据可视化和交互 • 针对你不知道的问题领域

探索

• 远程信息处理 • 行业服务 • 物联网 • 情感

数据服务

Page 24: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

集成化的企业级Hadoop平台 Big Data Appliance X6-2

Starter Full

Multi-Rack

•软硬一体化集成设计,规避开源自建高风险 •全栈调优、最佳实践、性能卓越 •完整的非结构化数据存储/计算/分析/挖掘/管理的平台

•开箱即用,快速上线部署,缩短项目周期 •全线商业支持,简化后期维护 •与数据库生态系统极佳融合 •企业级的安全管控 •方便的水平扩展,适应长远发展 •绿色环保,高密度存储,占地面积小

• 集成的软件: – Oracle Linux和Oracle Java VM – Cloudera商业化Hadoop版本及选件 – Cloudera Manager – Oracle R distribution – Oracle NoSQL 数据库

• 硬件: – 18台Sun PC服务器,每台

• 2C*22核 E5 2699 V3,总792核 • 8*32 =256GB内存,总4608GB内存 • 12块 8TB SAS盘,总1728 TB存储容量

– 内置40Gb InfiniBand交换机 – 用于管理的万兆交换机

– 初始化配置6节点,可按需扩展, – 到18个机架不需要外购网络设备

Page 25: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle大数据解决方案的不同之处 统一处理全数据,简化部署/开发和运维,支持快速启动和按需扩展

25

Hadoop Oracle Database

Oracle Big Data SQL

Advanced Analytics

Oracle Big Data Discovery

Oracle R

Oracle Data Integrator/GoldenGate

Data Visualization

Oracle BIEE

Sream Explorer

Coherence

In-Memory Spatial和Graph

统一数据收集 Oracle Data Integrator/GoldenGate

统一SQL访问 Oracle Big Data SQL

统一挖掘分析 OAA(ORE+ODM)

探索 挖掘

展现

快数据

X86 服务器

X86 服务器

X86 服务器

X86 服务器

X86 服务器

X86 服务器 或 或

简化 融合

安全 集成

Page 26: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL实现跨平台统一数据访问

• 统一查询数据:跨不同平台:Oracle数据库,Hadoop 和NoSQL DB

•保护现有投资:不需要任何修改就可以直接运行Oracle SQL查询

• 卓越性能:Hadoop和NoSQL上的智能扫描通过解析和智能地过滤各自节点数据,存储索引快速定位数据,这些都有助于大幅度提高性能

• 适用广泛:支持用户自建的系统和Oracle集成化设备;支持目前主流领先的Hadoop版本

• 安全管控:Oracle数据库安全特性扩展到新技术平台,控制对敏感数据的访问

• 功能丰富:提供从Oracle数据库复制数据到Hadoop的工具:Copy to Hadoop;以及通过Hadoop可以直接访问Oracle数据库中的数据的工具Oracle Table Access for Hadoop and Spark

{MapReduce} {APIs} SQL

Oracle Big Data SQL 3.1

Cloudera 5.5及更高 Hortonworks 2.3及更高 Database 12C

BDA Exadata

X86集群(Linux OL6,RHEL6)

26

Page 27: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL的不同之处

27

Big Data SQL智能扫描支持的操作: •WHERE 子句求值

•列投影

•应用布隆筛选器(Bloom Filter)以提高Join性能

•JSON 解析、数据挖掘模型评估

Oracle Big Data SQL采用了一种查询特许技术 其他SQL On Hadoop/SQL语言联合的不足

1、解析不同的SQL语句,对于不支持的,需要多次扫描以实现功能

2、底层利用各种数据库的能力,资源分开管理,很难实现全局管理,受阻于以外负载

3、无法实现统一的应用安全和治理策略

SQL

SQL解析

Hadoop

Driver DB Driver DB Driver DB Driver DB Driver

Page 28: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle为企业提供丰富的大数据分析工具 快速启动和体现数据的业务价值

传统分析

解决方案

数小时、数天或

数周

数据提取

数据准备和

转换

数据挖掘

模型构建

数据挖掘

模型“计分”

数据准备

以及转换

数据导入

模型“计分”

嵌入式数据准备

数据准备

模型构建

Oracle 数据挖掘

和探索

数秒、数分钟

或数小时

基于机器学习的数据挖掘(OAA)

基于人员经验的数据探索(BDD)

利用数学算法,从数据特征和已有结果中推演数据模型和进行预测,提供图形化界面和企业级R语言支持,满足不同分析人员需求

•实现对于全数据的挖掘和探索

•利用服务器并行处理能力和内存计算能力,高性能

•直接访问Hadoop或者Oracle数据库中数据

•所见即所得 •图形化,简单易用,快速实现

节省

共享 探索 转换 浏览 发现

28

Page 29: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Big Data Discovery:Hadoop的可视化和探索工具 不需要进行建模即可以交互式访问和探索

29

发现 浏览 转化 探索 共享

上传数据,对数据集摘要进行概要查看 对数据集各个字段分布进行浏览

支持基于web方式对数据集的字段进行处理和转化 建立项目,对数据集从不同角度探索和发现

Page 30: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle高级分析支持企业深度挖掘分析 满足不同角色需求,合理的成本投入快速带来数据收益

客户特征分组 客户流失预测

客户转化预测

产品购买关联

客户购买预测

趋势预测分析

Oracle R Enterprise

• 流行的统计分析编程语言与环境,广泛的统计与高级分析函数

• 但开源有诸多不足,Oracle做了企业级优化

• 与Oracle数据库集成以获得扩展性,可直接访问Oracle数据库内数据,利用Oracle数据库服务器的并行处理能力

• 分析结果直接展示在BI工具 • 可使用Hadoop数据和并行能力

Oracle Data Mining

• 完整的库内数据挖掘解决方案 • 自动化数据库内的知识发现过程 • 15个内置的核心数据挖掘算法 • 全新的图形化界面和流程实现 • 不需要编程,通过拖曳和配置即可利用数据挖掘,实现预测分析

• 可利用Oracle数据库和Exadata强大的处理能力

• 利用内存计算获得极速性能 • 与OBIEE完美集成

R

Page 31: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle支持构建企业级安全的大数据平台

31

在Hadoop和关系型数据库上应用相同的安全策略

Oracle Database Hadoop

按照规则 编辑后的 数据集

SQL

• Oracle数据库提供全面数据安全保护

– 事前防范/事中告警/事中拦截/事后审计

• Hadoop平台安全能力

– 验证

– 授权

– 通过Oracle Audit Vault审计

– 静态数据加密/网络加密

• Big Data SQL在Hadoop & NoSQL上应用Oracle数据库的安全管控能力

– 细粒度的访问控制

– 数据屏蔽和编辑

– 其他安全能力

X86 服务器

X86 服务器

X86 服务器

X86 服务器

X86 服务器

X86 服务器

事前防范

事后审计

事中告警

事中拦截

X86 服务器

X86 服务器

简化 融合

安全 集成

Page 32: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

集成:强强联手,卓越性能,市场认可

32

简化 融合

安全 集成

http://www.oracle.com/us/corporate/analystreports/

forrester-enterprise-data-warehouse-2811129.pdf

https://www.cloudera.com/content/dam/www/static/d

ocuments/analyst-reports/forrester-wave-big-data-

hadoop-distributions.pdf

http://reprints.forrester.com/#/assets/2/132/'RES12

3865'/reports#endNoteRef3

企业级数据仓库 大数据Hadoop优化系统

Page 33: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Exadata 企业应用/数据仓库

统一的数据资源池

Big Data Appliance 分布式大数据平台

新型数据 业务数据

15TB / hour 10x Faster

Oracle解决方案支持构建企业级全数据池 助力数据获取和组织,集成和管理

Oracle Big Data Connectors

商业化Hadoop

Oracle R

Oracle NoSQL DB

Oracle数据库

内存选项/多租户

高级分析

地理和图形选件

Oracle Big Data SQL

OGG ODI

OGG ODI

X86 服务器

X86 服务器

X86 服务器

X86 服务器

X86 服务器

X86 服务器

简化 融合

安全 集成

Page 34: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

大数据管理

大数据连接器

Oracle为大数据平台提供完善的生态系统

B

Oracle R Advanced Analytics for

Hadoop

Oracle Xquery for Hadoop

Oracle SQL Connector for HDFS

ODI Application Adapter for Hadoop

Oracle Loader for Hadoop

开发 融合

安全 集成

Big Data SQL

ODI 第三方数据库 数据仓库

Oracle数据库/数据仓库

Exadata 或自建

第三方挖掘和BI工具

ODI/OGG for Hadoop

管理和监控 Enterprise Manager

元数据OEMM

数据质量OEDQ

第三方数据库

安全和审计

内存选项

数据库云

OBIEE/DV

高级分析OAA

34

BDA 或自建

Page 35: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle企业级大数据解决方案的优势

企业级端到端的全数据解决方案

业界领先的商业化Hadoop平台和关系型数据库 保持开放性,技术领先,众多案例实证

优化简单的全数据统一查询,重用已有的基于SQL的经验,不需要过多开发 囊括所有大数据环境的预测分析 性能卓越的整体解决方案

可互通互换的混合云架构 大数据平台绝佳总体拥有成本 只需数周而非数月即可获得回报

数据挖掘 OAA

数据发现 BDD

数据池 数据仓库

数据源

数据应用 RTD/Apps

商业智能 BIEE/Exalytics

Oracle Database

Oracle Industry Models

Oracle Advanced

Analytics

Oracle Spatial & Graph

自建 / BDA

Hadoop

Oracle NoSQL DB

Oracle R

Oracle数据库

内存选项/多租户

Oracle高级分析

地理和图形选件

自建 / Exadata

Oracle Big Data Connectors

ODI OGG Stream Explorer

集成

灾备

管理

Big Data SQL

35

Page 36: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

统一SQL访问全数据。丰富的SQL语法支持,高性能数据访问,重复利用已有工具和技能,快速开发和上线,加快分析成果转化,提高竞争力。

结构化和非结构化数据统一安全管控。帮助企业构建统一的数据安全体系。防止数据泄漏,增强访问审计。保证数据安全,降低风险。

工程化系统开箱即用,简化架构和管理。生态系统完善,提供一系列商业化成熟工具支持,提供企业级特性支持,总体拥有成本低。

企业全数据管理平台。支持结合结构化和非结构化数据,进行探索,分析和挖掘。预测更准确,洞察更深入。更好支持业务,增加收入。

简化 融合

安全 集成

Oracle企业级大数据解决方案的价值

36

Page 37: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

议程

1

2

大数据在国内政府行业的应用状况

Oracle大数据为客户带来价值

Oracle企业级大数据解决方案概览

案例介绍

37

3

4

Page 38: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

Oracle和美国纽约市的合作

智慧城市和大数据分析

38

Page 39: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

美国纽约市的大数据之旅

市政服务

快速和简单地使用多渠道访问城市服务和信息

城市运营

城市范围内绩效报告衡量/比较40

多个部门和代理

城市基础架构

开放基础数据资料库,服务于透明和审计

市民授权

市民/企业开发应用,支撑部署,

增强社区能力

Page 40: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

NYC311:市民一站式电话

40

Page 41: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

CRM,

知识管理

市民信息视图

当前问题严重程度

联系信息

交换/问题历史

社区/关系

市民/企业 市政部门

医疗保健

公安交通

法律咨询

公用事业

教育就业

其它…

NYC311:市民全景视图,建立服务绩效体系,标准化市民服务流程,便利公共服务

Page 42: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

NYC311:市长实时仪表板

42

Page 43: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

美国纽约市:基于地理的服务

邮编 时间

投诉内容

Page 44: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

美国纽约市:开放数据

44

Page 46: Oracle政府行业大数据及应用...全数据、流数 据等大数据 行业应用 大数据创新及 跨界融合应用 Bigdata as a Service Hadoop NoSQL数据库 关系型数据库

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

权威技术 行业经验 专家交流

视频学习 DEMO演示 网络资源