商业智能的利器 – Sybase IQ

卢东明技术总监 Sybase 软件中国有限公司Tom.lu@sybase.com

Business Intelligence

Busi-ness, 还是 Business?

Business Intelligence

商业智能（ BI ）是什么？

商业智能（ Business Intelligence ， BI ）系统使组织能够通过利用客户、供应商以及内部业务操作的有关信息来提高商业性能。 BI 系统的最终目标是使用户能够消费大量有关数据，对其进行分析从而使企业有机会增加收入或者节省成本。

BI 系统通常需要从多个来源收集数据 —— 例如整个公司的事务数据库和诸如客户关系管理与供应链管理的不同相关应用程序。

BI 系统集结、组织以及标准化仓库中的信息，比如数据仓库和数据集市中的信息。提供分析工具，以支持专家运行数据查询以及发现模式和潜在的诊断问题。

BusinessIntelligence

商业智能（ BI ）无处不在

零售业 商品广告促销的竞争 销售模式 竞争管理 市场分析 客户评价 分析型 CRM

制造业优化供应链 流程智能 订单生命周期 存货分析 供应商遵从 发送分析

电信获得和留住客户 呼叫行为分析 拥塞分析 服务使用分析 促销效用 分析型 CRM

金融风险管理 信用风险 货币风险 资产与负债管理 分析型 CRM

所有行业性能 损益 P&L 分析 欺诈监测 技术性能分析 价值链分析 分割分析

政府保持市民安全 国家安全 规章的调研 欺诈监测 犯罪行为分析 健康保障欺诈

数据仓库系统发展规律

时间

业务报表业务报表业务报表业务报表

数据仓库数据仓库数据仓库数据仓库

商务智能解决方案商务智能解决方案商务智能解决方案商务智能解决方案

•第一阶段信息管理•提供基本、静态信息•固定格式、时间、内容

•第二阶段信息管理•建立数据仓库存储业务数据•建立数据集市解决特定的专题分析•提供 OLAP 和统计分析

•第三阶段信息管理•建立客户为中心的数据仓库和数据集市•集成复杂的管理工具 (OLAP, 数据挖掘、业务评估 )•数据的分析影响业务模式•集成客户交流渠道•企业 CRM

更有

效的

智能

化管

理

数据仓库系统三层结构—数据存储管理是核心

数据获取层

数据存储层

数据访问层

其他系统

抽取

清洗 /转换 /加载

综合业务 HR/OA 信贷

数据仓库数据集市

即席 查询 预定义报表 OLAP 数据挖掘

查询人员 分析人员 E I S 人员

数据集市

元数据

OLTP/OLAP 异同

•短小精悍

•快进快出

•快速响应事务处理

•大吞吐量•海量数据•快速并行计算•以查询为主

没有单一数据库系统能够同时满足 OLTP 和 OLAP 类型的数据需求

IT 瓶颈在哪里？

瑞士联邦技术学院信息及通讯研究所 (ETH Zürich) 的科学家研究发现：•I/O 瓶颈 ( 或内存储器存取瓶颈 )•Speed(Disk) << speed(RAM) << speed(CPU)

他们预期：•CPU 速度增长 : 每年 50%•内存容量增长 : 每三年增长 4 倍•Disk 吞吐量 : 过去的十年里只增长了 2 倍

结论： I/O 瓶颈恶化

普通目标的引擎 不是

最优化 OLAP引擎

为什么选择 Sybase IQ

当你增加数据量、增加用户数、增加查询的复杂度时， Sybase IQ 可以消除传统数据库的限制，仍然能够保持系统的性能和防止系统失败

不限于用于分析的大量数据（海量数据） 不限于大量并发用户和查询 不限于新应用的发布 不限于查询的复杂性 不限于访问窗口

Sybase IQ 是一个高优化的分析服务器，在标准硬件平台和操作系统上，针对极高速分析查询和报表具有特殊的设计

针对于分析的设计，不是事务的设计 – 不同于传统数据库

非常卓越的查询性能 针对分析型应用具有最低的总拥有成本 基于列模式的索引，具有领先的性价比，用于决策支持系统

Sybase IQ

• www.sybase.com/content/1035804/SybaseIQ_bloor-report.pdf Bloor Research Report - Sybase IQ, 2005; • www.sybase.com/content/1032408/WinterCorporation2004.pdf Winter Corporation TopTen Program: Spotlight on Sybase IQ, 2004; • InfoSizing DW Reference Architecture Report, June 2004

Sybase IQ: 速度快速查询和加载，垂直存储

数据垂直存储 – 每一列分别存储 只存取被查询使用到的列 – 降低大量的系统 I/O

垂直存储

Other RDBMS SYBASE IQ

c5c4c3c2c1 …c9c8c7c6 c5c4c3c2c1 …c9c8c7c6

r1

r2

r3

r4

r5

r1

r2

r3

r4

r5

查询响应 – 以垂直存储实现快速查询

Sybase IQ: 数据是按列存储的，而不是按行存储

好处 : 只存取查询所需的数据 数据类型是一致的，因而可

以很容易被压缩 数据库易于修改和管理

日期 支行 分行 帐户 余额

1996-3-1 32 沈阳 A 6

1996-3-1 36 北京 A 9

1996-3-1 38 武汉 B 5

1996-3-1 41 武汉 A 11

1996-3-1 43 北京 A 9

1996-3-1 46 成都 B 3

1996-3-1 47 天津 B 7

1996-3-1 49 上海 A 12

日期 支行 分行 帐户 余额

1996-3-1 32 天津 A 6

1996-3-1 36 上海 A 9

1996-3-1 38 沈阳 B 5

1996-3-1 41 武汉 A 11

1996-3-1 43 天津 A 9

1996-3-1 46 北京 B 3

1996-3-1 47 上海 B 7

1996-3-1 49 沈阳 A 12

特殊存储方式垂直存储（按列存储）

Sybase IQ – 数据大量被压缩，降低存储空间和维护成本

数据压缩 – 显著降低存储空间和维护成本

LOAD

LOAD

Base table: 0.2 - 0.5TB

Indexes: 0.05 - 0.3TB

Aggr/Summ: 0 - 0.1TB

SummariesAggregates

1 - 2TB

Indexes

0.5 - 3TB

Base table“RAW data”no indexes

0.9 - 1.1TB

2.4-6TB

Transactional DBMS

加载相同数据 : “传统的数据仓库” 是 Sybase IQ 数据仓库的 3 － 6 倍

0.25 -0.9TB

输入数据 :

1TB数据源：文件， ETL ，复制， ODS

9种类型的索引

分别针对不同的数据类型和数据特征，以最大效率地发挥索引的优势。

Sybase IQ 存储压缩实例2005 年 WinterCorporation 世界十大数据仓库 TopTen Award Winners http://www.wintercorp.com

原始数据(GB)

 

Nielsen Media Research

17,969 Sybase IQ

UNIX Centralized/SMP Sybase Sun EMC 

Yahoo! 17,014 Oracle UNIX Centralized/SMP Oracle Fujitsu Siemens EMC  

Database Size, All Environments, DW * （数据仓库大小）  

公司 / 组织 数据仓库大小 (GB)

数据库 操作系统 体系结构 数据库厂商

系统厂商 存储厂商

Yahoo! 100,386 Oracle UNIX Centralized/SMP Oracle Fujitsu Siemens EMC

Nielsen Media Research

17,685 Sybase IQ UNIX Centralized/SMP Sybase

Sun EMC

数据行数( 亿 )

 

Nielsen Media Research

5024 Sybase IQ UNIX Centralized/SMP Sybase

Sun EMC 

Yahoo! 3853 Oracle UNIX Centralized/SMP Oracle Fujitsu Siemens EMC  

为何 Sybase IQ 能够快速增长 ?数据爆炸

Source: http://www.sims.berkeley.edu/research/projects/how-much-info-2003/

Web 174TB on the surface

Instant Messaging 274TB per year

Email 400,000TB per year

Transactions Growing 125% per year

数据量

Time

Sybase IQ – 可伸缩性 Multiplex

随业务需求扩展

多路技术结构 – 卓越的可伸缩性和灵活性

IQ

CPU CPU

Mem CPU

CPU Mem

IQ

CPU CPU

CPU Mem

CPU Mem

IQ

CPU CPU

Mem Mem

Mem Mem

IQ

CPU CPU

CPU CPU

Mem Mem

IQ

CPU Mem

CPU Mem

CPU Mem

Fiber Channel

单一的 IQ 数据仓库

多节点共享访问

只有一个数据存储

无数据分区

无分布式锁管理

每个节点不依赖于其他节点

增加服务器和 CPUs – TB 级磁盘 – 近乎无损失的性能

Reader NodesWriter NodeSharedDisks

速度速度 快速响应• 10-100 倍的快速查询响应• 基于列的存储结构• 实时数据访问• 无处不索引• I/O 减少 90%

可扩展性可扩展性 适应大量的用户数• 同时支持成百上千的用户数• 从 GB到上百个 TB 的数据• 接近实时的新数据装入—数据仓库的用户

查询几乎不受影响

Sybase IQ 产品优势

低低 TCOTCO 经济性• 30-70% 数据压缩 , 而不是数据膨胀• 低成本

• 更少硬件 • 更少的数据存储设备• 更少的支持维护人员

灵活性灵活性 开放的标准

• ANSI SQL (ODBC,JDBC)

• Unix, Linux, Windows• 任何的查询 • 任何的 schema

What Our Customers Say

“…With Sybase IQ, we provide some of the world’s largest asset managers the

ability to quickly analyze millions of stock and portfolio transactions.” Chris Escobar, Vice President of Analytical Products, ITG

“…Sybase IQ [saves] both storage space and increases the speed at which data can be retrieved. ” Lewis Walker, Assistant Director for Application Development, U.S. Security and Exchange Commission

“The IBM and Sybase IQ combination offers unbeatable cost/performance and gives S&H Solutions a competitive edge in retail analytics. ” Steve Ritacco, CTO, S&H Solutions

“Sybase IQ is our secret weapon.” Jeff Butler, Director of Research Databases, Office of Research, U.S. Internal Revenue Service

BI 应用广泛

强大的、已建立的和快速增长的客户群 在世界上 750 个地方有 1700 客户系统 在过去的 12 个月里，增加 145 新企业应用

Mainframe

IBM DB2

MicrosoftSQL Server

Oracle

Sybase ASE

Trading

Order Processing

Provisioning

Inventory

Financials

BI 工具数据集成

Replication Server

数据联邦

元数据管理和建模

数据源 分析服务器

Avaki EII

PowerDesigner

• 数据仓库• 报表服务器• 数据集市• 操作型 BI

ETL(formerly Solonde TRON)

IWSWorkspace

Sybase IQ 是 BI 系统的存储核心