校园信息化建设历程
1994年接入互联网
2008年
启动数字化校园平台建
设 ,10年建成数字校园
三大平台,校园“”一
卡通”系统
2017年
校园网络和各信息系统服务于4万
多注册师生用户。校园基础网络布设信
息点4万多个,无线AP3000多个;校园
网站及各类信息化管理系统:400多个。
01
03
04
统计分析
业务系统
教务系统
学工系统
人事系统
科研系统
资产系统
财务系统
认证系统
图书系统
就业系统
……
数据中心
教育部标准 抽取 转换 加载
共享数据库
教工分析
财务分析
资产分析
……
综合信息查询
高基表
……
1.数据中心数据量少2.非结构化数据无法纳入3.缺乏便利的监控管理工具4.数据交换实时性差5.数据交换效率低
?
传统数据中心使用面临的问题
思考1:数据治理模式的变革
传统数据治理过程 应用驱动型数据治理过程
目的: 支撑数据共享交换 目的: 支撑数据的综合分析
范围: 以主数据为主(不含过程数据) 范围: 基础数据、过程数据、结果数据
过程控制: 线下文档方式 过程控制: 线上工具为主、文档为辅
底层架构: Oracle/SqlServer 底层架构:
Oracle/SqlServer+Hadoop
思考3:数据治理过程控制的变革
传统数据治理过程 新型数据治理过程
数据标准: 线下管理 数据标准: 线上管理
数据流向: ETL工具+文档 数据流向: 工具集成
数据质量: 线下管理 数据质量: 线上管理
文档管理: 线下管理 文档管理: 线上管理
思考4:数据质量管理的变革
传统数据质量管理 新型数据质量管理
管理机制: 以制度规范各业务系统 管理机制: 制度为主、自动化工具为辅
量化方式: 人工被动检测 量化方式: 工具主动检测
通知方式: 被动响应 通知方式: 主动提醒
控制手段: 人工 控制手段: 工具为主
思考5:数据安全保障的变革
传统主数据平台 新型大数据平台
访问安全: 用户权限控制 访问安全: 用户权限控制
数据交换: 严格控制数据库账户 数据交换: 用户权限+访问加密
容灾安全: 数据库主备策略 容灾安全: 分布式副本容灾机制
ETL工具(ODI/Kettle)
结构化数据
学工 ………财务科研 消费教务 无线日志 ......网络日志URL日志
非/半结构化数据
一卡通
Flume
用户权限分配
用户注册认证
数据源监控
数据源管理
API使用申请
API接口定义
应用发布
应用申请
脱敏处理
安全审计
Hadoop大数据集群传统数据中心
大数据管理平台
任务查看
元数据
版本管理
数据标准
数据监控
数据质量
MongoDBNOSQL数据库
大数据应用呈现
第三方分析工具
日志模板 日志任务 结果查看
分布式文件系统/HDFS
Spark-SQL数据计算
Spark批量计算/关联
ODS数据集中库
TYDB共享数据集
数据清洗
数据转换
数据源
数据存储
数据管理
数据应用
找到和掌握学校的全量数据资产
让数据能够更好的支撑学校的各方面业务工作和战略决策
业务系统数据 机器日志数据 外部互联网数据
教务系统 学工系统
科研系统研究生系
统
人事系统
资产系统 财务系统
就业系统
宿舍系统
校友管理系统
图书馆系统
……
无线Wi-Fi日志
上网URL日志
系统访问日志
系统登录日志安全设备日志
上网认证日志
数据库审计日志 ……社交媒体
论文数据
专利数据
Research-Gate软件著作权数据
科研数据
统一数据管理平台
数据治理工具 日志处理工具 数据超市
总结:以平台为基础,数据治理为核心