selling sybase hds solution for banking

银行历史数据库解决方案—基于 Sybase IQ 的历史交易数据管理和应用

2 – Sybase Confidential – April 13, 2023

议程

• 银行为什么需要历史库 ?• 基于 Sybase IQ 的历史交易数据管理和应用• Sybase IQ 在历史数据管理方面的价值• 成功案例


银行为什么需要历史库系统？

• 业务问题– 银行业务系统多年运行，积累下来的交易数据（或称

交易流水数据）及其相关的参照数据，如客户、帐户、产品、渠道等。

– 完整保留银行各业务系统交易流水的原始记录，满足规定时限（ 5-10+ 年）历史交易数据查询和快速恢复的需要，包括但不限于：各业务系统的历史交易明细数据的实时查询人行、银监会，公、检、法、工商、税务等即席查

询为审计和操作风险监控等内部控管类系统提供数据历史数据提取和下载


银行历史（交易）数据状况

• 海量数据– 核心帐务系统– 零售业务系统– 信贷业务系统– 国际结算系统– 支付系统– 电话银行 / 网上银行系统– 银行卡业务系统– 外汇交易– 证券、基金、保险– 电信、公用事业– Call Center– CRM 等等

• 特点：• 时间跨度大：几年 -20+ 年• 数据量大： TB – 几十个 TB• 形式多样：在线，离线• 异构环境：硬件、操作系统、

数据库等；开放和封闭的系统• 版本繁杂：操作系统，数据库• 数据质量：亟待完善• 可恢复性：存在相当的难度


银行交易数据从分布走向大集中

总行

大集中核心业务系统

总行级数据仓库

业务支持系统

MIS/OA系统

决策支持系统

分行

分行特色业务平台

分行综合报表系统

金融前置系统

分行信息系统

核心业务处理全行的服务支撑平台全行信息系统总行级数据分析、决策支持……

分行特色业务支持金融设备的前置处理分行内部报表、数据支持未上收的信息系统……

业务上收

数据下发


银行历史交易数据的应用

• 历史交易数据是一笔宝贵的财富– 内外部监管、合规和审计，典型的审计，帐务调查等

快速提供历史数据的应用。– 各业务系统（ OLTP ）对历史交易数据的查询。– 统计报表。

• 实现对业务的有效支持– 业务管理：业务创新、交叉销售、差异化服务等– 风险管理：主动风险防范和控制，提高风险控制和管

理能力– 成本管理：信息资源、业务资源、客户资源和管理资

源的最优配置和最大利用


议程

• 银行为什么需要历史库 ?• 基于 Sybase IQ 的历史交易数据管理和应用• 成功案例


历史数据管理和应用—总体架构

ODS/DSA – 面向主题、当前

Data Warehouse面向主题包含历史和汇总的

数据集市数据集市

业务系统

核心

零售

信贷

国际

基金

历史数据

当前数据

历史数据

当前数据

历史数据

当前数据

历史数据

当前数据

历史数据

当前数据历史交易数据存储历史交易数据存储 HDSHDS

数据交换平台

数据仓库和分析型应用

业务系统实时查询服务批量检索服务随机查询服务数据下载服务

核心零售信贷国际审计反洗钱公安人行分行其它

历史数据查询系统

审计

反洗钱

随机查询


历史交易数据管理和应用逻辑结构

历史交易数据存储 -HDS

元数据管理

数据安全性管理

统一数据视图 / 统一数据访问服务历史数据存储层

历史数据访问服务层

历史数据查询服务层

遗留数据零售遗留数据

对公核心

信贷零售国际

数据交换平台

核心业务系统

零售业务系统

信贷业务系统

国际结算业务系统

…

业务系统实时查询服务批量检索服务随机查询服务数据下载服务

核心零售信贷国际审计反洗钱公安人行分行其它


遗留数据

其他数据核心

个贷信贷

基金

其他数据核心

个贷信贷

基金

HDS 主库磁带库

其他数据核心

个贷信贷

基金

HDS 缓存库数据加载服务器 1

批量检索节点组实时查询节点组

其他应用节点组遗留应用节点组中央数据字典

元数据管理和IQ 监控服务器

信息生命周期管理

在线

0~2

年

在线

0~6

年

近线

7~12

年

离线

13~

年

基于 Sybase IQ 的历史库系统—信息生命周期管理

历史数据存储历史数据查询服务


历史库系统物理架构

元数据管理服务器

PC 服务器Linux/Windows

Sybase PowerDesigner

数据库复制服务器

Unix/LinuxSybase RS

抽取转换装载服务器

Linux/WindowsSybase ETL

活跃数据近线数据历史数据

历史库服务器群

Unix/Linux

SAN 交换机 1 SAN 交换机 2

磁盘阵列FC/SAS/SATA

6/12/24TB

实时查询应用服务器

ASE

客户端台式机

即席查询服务器

批量检索应用服务器


基于 Sybase IQ 的银行历史库系统

• 令人信服的理由– Sybase 的历史库解决方案将银行的历史数据统一归档到总行的历

史数据库中，构建统一的历史数据查询平台。同时，历史数据集中存放，统一进行管理、运行和维护、统一备份，可以充分利用IT软硬件资源，最大限度降低总体拥有成本（ TCO ）。

– 各个业务系统将只保留当前的交易数据，负担减小，各个业务系统性能大幅提升

• Sybase IQ 提供– 高效的数据压缩存储功能，有效地解决了大量历史交易数据的存

储和管理；– 快速的数据查询能力，有效地承担全行历史交易数据的查询和访

问；– 开放平台及便利的多节点扩展功能，可靠地解决单台机器的资源

限制，扩展访问能力；– 可靠安全的高可用及灾难备份机制，最大程度保证全行历史数据

的安全；


议程

• 历史（交易）数据状况• 银行历史数据管理和应用架构• 成功案例


成功案例

• 在哪里进行过实施？– 交通银行– 浦发银行– 中国农业银行– 上海农商行– 。。。


案例（ Case Study ）

• 历史库系统背景介绍• 随着数据的集中和业务的发展，数据量急速增长。在实际

的业务应用环境中，来自于各业务部门、各类客户和外部机构等第三方的对于详细历史数据的随机查询要求越来越多。

• 大量的历史数据保存在主机的核心业务系统中，已经开始对业务处理的效率造成影响，因此，需要将业务系统中的历史数据移出，建立历史数据库，为前端柜员的历史数据查询提供支持。

• 历史数据查询系统实施了三期。– 二期： 2007 年。 Teradata -> Sybase IQ– 三期： 2009 年。 Sybase IQ Multiplex



• 历史数据查询系统二期

• 历史库迁移到 Sybase IQ

• 单节点部署 IQ Multiplex

• NonStop IQ• 实现 10+ 业务

系统的数据集中

• 数据规模 >2TB• 主节点服务器

配置： IBM P690, 10CPUs, 40GB 内存

历史库数据库服务器（主点）历史库数据服务器（备点）

写节点读节点读节点

历史库前置历史库前置历史库前置

此接入点为备用

数据同步

分行前置分行前置分行前置

……

电话银行电话银行

个人网银企业网银

柜面柜面浏览器浏览器浏览器浏览器

写节点

审计操作风险

浏览器浏览器浏览器浏览器

……

数据交换平台

个贷，

信贷，

基金，

国际业务

……

核心



• 历史数据查询系统三期

• 多节点部署 IQ Multiplex

• 数据多级存储实现信息生命管理

• 元数据集中管理• 运行监控• 数据规模 >3TB• 7 x IBM P595 服

务器 : 4CPUs, 16GB 内存

审计应用风控系统 •分行数据下载•即席查询审计应用

OD

BC

/JD

BC

OD

BC

/JD

BC

OD

BC

/JD

BC

写节点写节点

元数据库

ETL 服务器

数据交换

文本文件

备库

应用服务器应用服务器应用服务器应用服务器应用服务器

OD

BC

/JD

BC

OD

BC

/JD

BC

OD

BC

/JD

BC

OD

BC

/JD

BC

OD

BC

/JD

BC

Nonstop IQ 国际信贷核心基金个贷EBANK

HDS 缓存库

写节点

中央管理控制台PD ， Surveillance

Nonstop IQ

Sybase IQ Multiplex

HDS 主库

写节点查询节点1

查询节点2

查询节点3

Sybase IQ Multiplex


客户收益

剥离全部业务系统历史交易数据，实现大集中，进而形成单一视图；建立一个基础的数据存储层，实现海量历史数据的长期存储要求；建立一个高性能的历史交易数据查询服务层，提供多种查询支持；建立统一的中央数据字典，实现元数据的集中管理和共享；建立安全访问控制和管理机制，实现历史交易数据安全使用和管理；建立统一的数据备份和恢复机制；历史数据实现了信息生命周期管理，有效降低了总拥有成本 TCO 。


使用的关键技术、产品和服务

– Sybase IQ 实现历史数据存储（历史库），满足海量数据的压缩、专利的索引、高效的并发查询、降低总拥有成本 TCO 等；

– PowerDesigner Enterprise 实现元数据管理，建立中央数据字典，集中管理；

– Bradmark Surveillance ， IQ 运行监控；– Sybase专业服务


议程

• 历史（交易）数据状况• 银行历史数据管理和应用架构• 成功案例 • 如何销售？


销售定位

• 解决方案定位– 需要缓解核心交易系统访问压力或需要有效存

储和管理历史数据访问的行业客户，尤其是金融行业，如银行、保险和证券。

• 整个方案包含了哪些产品组件？– PowerDesigner建模和元数据管理工具– Sybase IQ

历史库– Bradmark Surveillance 监控工具

IQ 历史数据库操作系统

– 专业服务（总体规划、模型及元数据管理、优化部署）


销售策略

• 目标客户– 银行– 保险公司

• 客户方面应该接触和约谈哪些人？– 业务主管– IT负责人– 部门负责人– 架构设计师– 运维负责人等


机会识别

• 机会审核问题–业务系统运行了多少年？超过 3 年吗？–业务系统能提供历史交易明细数据的查询吗？能查多久之前的历史交易明细？

–业务系统是否随业务和数据的增长而面临性能压力？–业务系统中产生的历史数据如何进行有效的管理？–如果积累了大量的历史数据，目前历史数据的访问情况？–是否有数据仓库系统？数据仓库对于历史数据的处理情况？

–是否有审计或合规类的应用系统？–是否有筹建历史数据存储管理的打算和预算？


销售建议方案

• 针对不同规模的商业银行推荐如下销售方案：• 小规模（实施周期 2 个月）：

– Sybase PowerDesigner– Sybase IQ 单机（ 2 CPUs ） Windows or Linux– IQ 快速启动服务包（ 5 天）





Unix/LinuxSybase RS

可选

历史库服务器

PC 服务器Window / Linux

2 CPUs, 8GB 内存

SAN Switch


<1TB

ASE


销售建议方案

• 针对不同规模的商业银行推荐如下销售方案：• 中等规模（实施周期 3 个月）：

– Sybase PowerDesigner– Sybase IQ Multiplex （ 4-8 CPUs ） Windows or Linux– IQ 有效部署服务包（ 10 天）





Unix/LinuxSybase RS

可选

历史库服务器

PC 服务器 2Window / Linux

4CPUs, 16GB 内存

SAN Switch


1-2TB

ASE

历史库服务器

PC 服务器 1Window / Linux

4CPUs, 16GB 内存


销售建议方案

• 针对不同规模的商业银行推荐如下销售方案：• 大规模（实施周期 4 个月）：

– Sybase PowerDesigner– Sybase IQ Multiplex （ 16+ CPUs ） Unix– Bradmark Surveillance 监控工具– IQ 有效部署服务包（ 10+ 天）





Unix/LinuxSybase RS

可选

历史库服务器

Unix 服务器 2Unix

8CPUs, 32GB 内存

SAN 交换机


2+TB

ASE

历史库服务器

Unix 服务器 1Unix

8CPUs, 32GB 内存


销售支持

• 技术培训• 售前技术支持• 专业服务支持


议程

• 历史（交易）数据状况• 银行历史数据管理和应用架构• 成功案例 • 如何销售？• Sybase 关键技术与产品概述


PowerDesigner: 建模及元数据管理

• 全面的建模技术– 流程建模 (BPM)– 数据建模 (ER)– 面向对象建模 (UML)– XML建模– 信息流动建模

• 生命周期管理– 需求分析– Impact analysis

• 模型驱动的开发支持– Java, C#, VB .NET, PB, Web

Service, EJB, JDO, Hibernate, XML, BPEL4WS, ebXML, …

– 与集成开发环境 IDE (Eclipse, JBuilder, PB) 的集成

• 文档– HTML, RTF, etc.

• 统一的元数据管理– 版本管理 , 安全控制


Sybase IQ

• Sybase IQ 是一个高优化的数据仓库服务器，在标准硬件平台和操作系统上，具有以下特点：– 查询性能提升 10-100倍– 存储效率提高 2-5倍– 有效控制总拥有成本 TCO

减少 DBA 的工作降低硬件资源开销：磁盘，网络等减少备份或容灾的成本降低能耗，绿色环保

– 支持 ILM ，有效解决数据长期保存的问题

列式数据库技术 (Column Database)无处不索引 (Index EVERYWHERE)


Sybase IQ 的核心技术之一：列式架构

传统关系型数据库

•c5

•c4

•c3

•c2

•c1 •…

•c9

•c8

•c7

•c6

r1

r2

r3

r4

r5

SYBASE IQ

•c5

•c4

•c3

•c2

•c1 •…

•c9

•c8

•c7

•c6

r1

r2

r3

r4

r5

数据垂直存储 – 每个列都是单独存储的数据就是索引查询时只读取需要的列– 极大地降低了系统的 I/O 每个列由独立的线程处理 –查询并行处理

数据按行（记录）存储查询通常需要大量的 I/O ，尤其在无法利用索引的情况

下建立索引非常耗时和耗资源为了获得查询效率不得不大大增加数据库的硬件配置


Sybase IQ 的核心技术之二：专利的索引

• 索引即是数据–没有索引和数据的分别

• 专利的 Bit-Wise索引• 任何一列可以建立多个索引– 系统保证至少会存在一个索引（ F

P ）• 索引的选择和设计主要基于：– 数据的基数（离散值的个数）– 在查询中的使用方式– 和 SQL语句的顺序无关


Sybase IQ 自适应的查询处理

启动查询 1

查询 3

服务器资源被不停地进行重新分配

CPUs 使用

CPUs 使用

CPUs 使用

启动查询 2

启动查询 3

查询 2

查询 1

Resources are rebalanced

Resources are rebalanced

Resources are rebalanced资源被重新调配


光纤盘或固态盘 SAS 或 eSATA

Sybase IQ 数据分层存储方案

• 数据分区（层）存储

信息生命周期管理

SepAug

Jul

JanFebMarAprMayJun

将 “最热”数据装载到最快的存储上

Dec

移动分区到较低成本的存储上

将 “最热的” 分区放在最快的存储上随着时间推移，再逐步将分区向较低成本存储上移动

共享、压缩、分区的列式数据存储

Scale outScale out

活动数据存储近线数据存储

历史数据存储


数据压缩 – 显著降低存储空间和维护成本

LOAD

LOAD

基础表 : 0.2 - 0.5TB

索引 : 0.05 - 0.3TB

聚合 / 汇总 : 0 - 0.1TB

• 汇总• 聚合

• 1 - 2TB

• 索引• 0.5 - 3TB

• 基础表• “原始数

据”• 无索引

• 0.9 - 1.1TB

2.4-6TB

• Transactional DBMS

加载相同数据 : “传统的数据仓库” 是 Sybase IQ 数据仓库的 3 － 6倍

0.25 -0.9TB

输入数据 :

1TB数据源：

文件， ETL ，复制， ODS

Sybase IQ – 数据存储开销大幅度降低


Sybase IQ 高可用性及扩展性超快并行分析

高速内部互联

Kerberos – 认证 ECC/RSA/FIPS- 安全加密连接

共享、压缩、分区的列式数据存储

外扩展外扩展

外扩展外扩展

协同读 / 写节点读节点读节点读 / 写节点

活动数据存储近线数据存储

历史数据存储

节点

节点 1 节点 3 节点 4 节点 5

高速实时数据加载

高性能批量 ETL

高并发报表

客户端数据加载和查询

图形化系统管理

主节点

读 / 写节点

节点 2


Sybase IQ Multiplex: 高扩展性

查询负载 : 每个用户随机执行类似 TPC/H 的查询(来源 : HP San Bruno试验室 , 美国加州 )

80

120

160

200

240

280

320

360

40

400

0

100

200

300

400

500

1 2 3 4 5 6 7 8 9 10

节点31 秒31.6 秒

400 用户响应时间 = 31.6 秒增加 : 1.9% (0.6 秒 )

用户

40 用户响应时间 : 31 秒

用户

98%

Sybase IQ Multiplex 扩展性测试结果


Sybase IQ 数据容灾：虚拟备份

利用磁盘阵列的硬件特性，和 Sybase IQ 的备份特性提供TB 级数据仓库秒级的备份恢复

实现在线备份恢复及远程灾难备份，以及业务连续的运行目标的解决方案软件名称 EMC HDS IBM SUN

Local Copy EMC SnapView_BCV/Clone

HDS ShadowImage Volumn Copy Volumn Copy/Volumn mirror

Delta Copy EMC SnapView_Snapshot

HDS ShadowImage Flash copy Snapshot

Remote Copy EMC San copy HDS TrueCopy Globle Mirror ( 同步方式、异步方式 )

Data Replicator ( 同步方式、异步方式 )

负载均衡 / 通道管理 EMC PowerPath HDS HDLM RDAC MPCIO

问答（ Question & Answer ）

谢谢！Thanks!

selling sybase hds solution for banking

Documents