华数大数据探索与实践

华数传媒 朱素平

2014年5月

目录

一、广电大数据需求

二、华数的大数据实践

三、大数据平台构建经验分享

一、广电大数据需求

广电行业面临的挑战

04

03

02

市场 业务

技术 人才

广电行业数据分析人才、数据管理人才欠缺，尤其是

大数据分析人才，需要重视关键性人才的储备和队伍。

引入良好的合作伙伴，可以借助其它行业的成功经验，

聚集成熟的专家团队。

业务模式单一，运营粗放，缺乏精细化运营数据的积

累，仍然停留在有线电视传输的角色

跨域竞争激烈，电信运营商、互联网企业、硬件设备商以

及内容生产商等都将自身定位于视频产业的参与者并获取

相应价值，视频服务已经不再成为广电网络运营商的专利，

整个视频产业已经开始新一轮颠覆和竞争。

刚刚迈入用户管理系统整合的门槛，在数据处理相关的

平台建设和数据积累上差距较大。

一直以来技术上重硬偏软

为什么需要大数据

面对激烈的市场竞争，深入了解客户，精细化营销成为关键

通过大数据的支撑实现产品的精细化运营，提高用户黏着度

基于大数据的商业模式创新

如何应对复杂的网络和业务平台管理

数据如何交易增值，形成广电产业的共赢，更成为当前的关注焦点

大数据技术的实践趋于成熟

大数据资源 大数据处理与分析能力 大数据变现模式

•即时需求数据•公共网页数据

•数据聚合•自然语言处理•语义分析•深度学习

•百度广告联盟•百度指数、百度统计•百度定制报告•百度司南

•交易数据•信用数据•社交数据（微博和陌陌）•地图数据（高德地图）•移动应用数据（友盟）

•大数据整合•底层架构•大数据并发处理

•Tanx（广告交易平台）•淘宝广告联盟•小微企业金融服务•数据交易集市•数据魔方

•社交数据•交易数据

•数据聚合•数据推荐

•智能推荐•后端数据整合统一向前台开放•游戏广告

OTT是国内大数据的先行者，已经率先行动：谷歌、Facebook、百度、阿里巴巴、腾讯等都已经实施大数据的战略；各类App通过 免费方式收集用户的个人信息转卖给广告商。国内业界领先者BAT在大数据方面已经先知先行，尤以阿里巴巴围绕“数据”战略进行的布局最为显著

二、华数的大数据实践

• 大数据支撑营销

• 大数据支撑个性化产品

• 大数据支撑内容运营

• 大数据支撑运维质量管理

• 行业合作

大数据支撑营销

具备精细化营销和服务的能力

从网络为王、内容为王、用户为王向数据为王演进

掌控业务的每一个环节，追踪用户轨迹、了解服务流转

掌控用户，知其所爱，猜其喜欢

1

2

抓住用户的“注意力”

我知道你爱看什么，想看什么，你为什么走了？

精准营销-典型应用

• 用户行为透视：全方位持续跟踪记录用户各项行为，并加以模型化的分析将用户分群

• 套餐推荐：在用户行为透视基础上挖掘潜在购买力，提升ARPU• 用户维挽：建立用户流失模型，及时发现潜在流失用户并进行维护挽留• 产品的个性化推荐：在合适的时间给合适的人推荐合适的产品• 网格化的营销数据支撑：给一线营销人员全面的数据支撑，有的放矢。• 市场占有率分析：通过电力、水等公司的数据交换，分析市场占有率

精准营销

• 利用用户点播内容的性标签确定用户大体喜好，进行产品包和新内容引入的推广，支撑大众市场的短信营销活动

• 根据用户的互动点播情况和首页浏览情况，确认用户属于哪种情况的沉默用户，进行不同方式的渠道推广（节目单、短信等渠道）

个性化运营

• 按照地域、用户特点、收视习惯、上网行为，归

纳用户特征，为用户主动作出个性化的推荐，

在短期内抓住用户兴趣点，提升用户粘性

基于用户行为深度分析

个性化运营-典型应用

• 智能推荐：针对用户历史点播和浏览行为，推荐用户想看和爱看的内容和栏目

• 个性化门户：改变基于编排的统一门户为根据用户行为的个性化门户，提高客户的忠诚度

个性化运营-智能推荐服务

猜你喜欢

根据用户行为，通过机器学习向用户推荐最可能接受的内容

提供冷启动下，根据用户历史行为找到用户最可能接受的推荐列表

提供通过用户聚类算法找到同类用户行为相关度，进行内容推荐

提供通过协同过滤算法找到有关联的用户的共同兴趣，进行内容推荐

提供通过相似度算法找到内容之间、用户之间的相似度，进行内容推荐

业务接口 可视分析

聚类推荐 协同推荐

相似度推荐

个性化运营-用户画像

分布

52% 点播

22% 直播

12% 回看

14% 空间

26% 综艺

18% 动作

16% 剧情

21% 爱情

11% 娱乐

8% 其他

聚焦

业务分布

26% 10分钟

31% 30分钟

25% 1小时

18% 2小时

及以上时长

搜索

观看

浏览

开机

跳出

开机平均次数开机平均时长

跳出率跳出频度跳回率 观看时长

观看完成率平均操作次数

翻页次数翻页深度翻页频度翻页跨度

用户关注搜索习惯搜索成功率

互动用户画像

1、基于点击流数据完成用户画像的梳理

2、完成宏观层面的业务分布统计

3、完成用户活跃度的定义和统计

个性化运营-“我的电视”

大数据支撑内容运营

• 基于内容在各个渠道和

方式的点播和消费类数

据构建内容的价值模型，

实现对内容价值的可量

化和可评判，同时对公

司后续的内容引入提供

数据支撑

构建内容价值的评判标准

综合分析、

信息共享，

贯通各类场

景

点播

直播

家庭

录像

机等

应用宽带

回看

轮播

内容后台运营优化

• 编排路径优化：根据现有门户路径的用户浏览、点播情况，对编排路径进行辅助的数据支持

• 实时榜单、定时榜单：利用大数据的实时处理的优势，提供实时的榜单数据，可以随时更新编排且对编排的实际操作有推荐指导

• 内容评价：建立一系列指标，如饱和度、热力度等，对媒资引入的价值有快速的衡量标准

• 风向标：利用跨屏多业务同步发展的优势，与第三方机构合作，形成更具权威和更可信的内容新媒体点播指数，定期发布，提升华数在各合作伙伴间以及业内的风向标作用。

内容运营-TV门户

内容运营-互动媒体榜单

实时在线 实时榜单

点播榜单 栏目榜单

演员榜单 热度榜单

提供分地域的实时在线的人数提供分地域的实时影视榜单变化

内容实时点播量统计栏目综合点播量统计演员热度排行内容热度统计

提供不同地域的内容点播排行、演员排行、内容热度排行，让运营人员轻松了解到不同地域用户的兴趣偏好和变化趋势

对用户点播行为进行在线统计提供最准确、最丰富、最及时

的观影指南

地域风向标

内容运营-编排路径优化对用户点播行为进行在线统计提供最准确、丰富、最及的观影指南

10320.79%

6070.46%

25261.93%

8970.69%

15881.21%

15381.18%

5670.43%

5810.44%

910.07%

340.03%

1510.12%

88446.76%

1863414.25%

16581.27%

41313.16%

50513.86%

78696.02%

87266.67%

27172.08%

15681.20%

12350.94%

5410.41%

4220.32%

6000.46%

2700.21%

7940.61%

6450.49%

8531465.25%

108798.32%

6780.52%

65084.98%

16541.26%

2720.21%

高清16:9浏览用户数: 130753 ,高于工作日日均6.48% ，

高清开通用户数：385537 ，开机率：33.91% ;开机率低于昨日-0.03%

浏览量：375373 ，高于工作日日均6.14% ，

人均浏览量2.87次，低于工作日日均-0.40%

• 获取各级栏目和详情页的用户浏览行为，辅助编排策划决策

大数据支撑运维质量管理

• 通过大量的数据收集和历史数据分析对比，解决运维过程中的偶发性故障难题，收集的数据包括终端播放采集数据、网络主动拨测数据、用户投诉记录、用户端样本测试数据等

• 通过大数据的基线对比及时发现热点问题

• 基于探针、用户主动拨测、用户体验数据收集等多维度的大数据采集

行业合作 大数据作为企业资产，不仅要被企业所拥有，且要能够成为为企业带来经济利益的资源，

能够被企业所控制。

要让数据成为商业的利器，持续提高数据活性、保值增值，“数据融合、业务结合、数据

交换”和“数据存储、数据管理、数据使用”是让企业数据流动起来才是关键。

行业合作让行业大数据生活落地，让企业数据价值充分发挥，需要落实拓展数据、分析融合、服务开放和运营创新四大基石

三、平台构建经验分享

平台建设规划框架

跨域、跨业务的数据融合分析框架

数据融合清洗

数据融合关联

专题分析完整用户画

像服务质量

分析

数据分域聚合存储

分域数据全量采集

数据简单统计分析

分布式数据处理框架

分域业务服务平台

扩展数据来源

开放、融合的数据服务平台

数据管理框架

典型应用（推荐、指数、榜单）经营KPI

更多典型应用

基础平台可线性扩展，应用服务可灵活叠加

支撑系统

BOSS1

支付平台

AAA

网厅 IPCC

BOSS2

生产系统

统一生产系统

编排系统

EPG

直播回传数据

其他区域详单

CDN文件

AAA文件

外部数据

数据源 ETL层

数据抽取

数据转换

数据加载清洗

大数据支撑平台

企业运营分析

经营指标

产品、业务专题分析

营销维挽

日常营销管理

自助取数统一

客户视图

大数据应用

实时榜单 定时榜单 媒体指数

智能推荐 大数据报表服务直播收视率

回放榜单

展现及服务

企业数据门户

数据服务平台

数据质量管理

主数据统一编码

数据安全管理

数据服用管理

元数据管理

基础数据管理

指标库管理

产品生命周期分析

月度业务趋势分析

业务发展总体情况分析

用户行为分析

服务质量分析

用户流失分析 预警

宽带上网日志

运营、运维数据分析

企业数据仓库

平台总体架构

数据与业务的相关性

在线用户统计

CDN用户点播行为

数据

BOSS用户基础数据

Portal用户浏览行为

数据

AAA用户消费行为

数据

ICMS内容元数据信

息

1、内容类型

2、内容类别

3、上线时间

4、CID/SCID

5、内容SIZE

6、导演演员

1、STB ID

2、区域属性

3、上月消费

4、本月消费

5、套餐类型

6、标签

1、CID/SCID

2、开始时间

3、结束时间

4、播放时长

5、片名

6、STB ID

1、CID/SCID

2、Refer

3、栏目信息

4、广告信息

5、终端类型

6、业务类型

1、播放开始时间

2、CID/SCID

3、内容价格 5、业务打包

4、STB ID

内容标签库

用户行为库

用户信息库

用户画像

实时榜单

智能推荐

综合指数

业务统计

渠道统计

编排关系

用户页面浏览行为

用户行为模型

用户在线消费行为

用户在线点播行为

产品优化

客户挽留

内容价值核算

经验分享

• 数据资源整合及应用面临用户隐私保护与法规问题• 建立数据标准，项目启动，企业数据标准先行• 企业内协同实施难度大，需要作为战略性项目，自上而下的执行• 探索和试错的工作，需要时间和人力成本的大量投入，需要长远规划，逐

步实施，不能一蹴而就• 人才缺乏，尤其缺少复合型的数据分析师和大数据架构、开发人才，需要

内部培养和有经验人才的引进• 缺乏对商业案例的分析和研讨,需要专业的方案顾问和实施厂商• 专注于数据的业务分析和商业价值转换，外包技术平台的支撑。

30

数字化的未来，

看得见的梦想，

华数邀您携手打造！