2013 年 11 月 2 日

68
Shanxi 2013 年 11 年 2 年 年年年 年年年年年年年年年年年年年年年年 年年年年年年年年年年年年 西

Upload: jereni

Post on 13-Jan-2016

77 views

Category:

Documents


2 download

DESCRIPTION

多层次语言粒度的文本情感倾向分析. 王素格. 山西大学计算机与信息技术学院. 2013 年 11 月 2 日. 目录. 引言 词汇级倾向性分析 要素级倾向性分析 句子与篇章级倾向性分析 中文倾向性分析评测 未来的工作. 为什么需要文本情感倾向分析. 文本信息主要包含两类 客观性事实 (Facts ) 主观性观点 (Opinions ) - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: 2013 年 11 月 2 日

Shanxi University

2013 年 11 月 2 日

王素格

多层次语言粒度的文本情感倾向分析

山西大学计算机与信息技术学院

Page 2: 2013 年 11 月 2 日

Shanxi University

目录

引言 词汇级倾向性分析 要素级倾向性分析 句子与篇章级倾向性分析 中文倾向性分析评测 未来的工作

Page 3: 2013 年 11 月 2 日

Shanxi University

为什么需要文本情感倾向分析

文本信息主要包含两类客观性事实 (Facts )

主观性观点 (Opinions )

随着 Web2.0 的飞速发展以及 Web3.0 的兴趣,互联网中出现大量的 UGC 数据,主要包括作者的观点 (opinion) 、态度 (attitude) 、感觉 (feeling) 、情绪 (emotion) 等。

Page 4: 2013 年 11 月 2 日

Shanxi University

Page 5: 2013 年 11 月 2 日

Shanxi University

为什么需要文本情感倾向分析

表现形式:以非结构化或半结构化的文本形式出现。如,产品评论、股票评论、微博、影视评论、新闻评论等。

44% 新闻文本包含观点信息 (Wiebe ACL 2001)

已有文本分析方法主要侧重于客观性文本内容 (factual information) 的分析和挖掘

Page 6: 2013 年 11 月 2 日

Shanxi University

为什么需要文本情感倾向分析

企业对倾向性分析的需求Automatically find consumer sentiments and

opinions (market intelligence)

Capture public trends

Capture commercial opportunity

Online reputation management

Precision advertising

Page 7: 2013 年 11 月 2 日

Shanxi University

为什么需要文本情感倾向分析

普通用户对倾向性分析的需求Helpful for purchasing a product

Find opinions on political topics

政府对观点挖掘和倾向性分析的需求Control the public opinions

Monitor the public event

Page 8: 2013 年 11 月 2 日

Shanxi University

文本情感倾向分析的定义 观点:人们对事物的看法,具有明显的主观性,不同

人对同一事物的看法存在差异。

倾向性:观点中所包含的情感倾向性。

文本情感倾向分析文本情感倾向分析 文本情感分析又称意见挖掘(观点挖掘) , 简单而

言 , 是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。

Page 9: 2013 年 11 月 2 日

Shanxi University

文本情感倾向分析兴起 AAAI’2004 春季研讨会 (AAAI Spring Symposium 2004) 的主

题就是探索文本中的态度与情感; AAAI’2006 春季研讨会包含了大量文本情感倾向分析的论文。 COLING-ACL’2006 开辟了 Workshop 来探讨文本中的情感与

主观性。 ACL’2007 和 EMNLP2007 也包含文本情感讨论。 在评测方面, TREC’2003的 Novelty Track 专门设计了观点句

识别评测任务。 2006 年的 NTCIR 的检索评测会议也设计了观点分析的探索性任务 (Opinion Analysis Pilot Task) 。

国内的计算语言学会议和信息检索会议也将文本情感倾向分析列为主题。

Page 10: 2013 年 11 月 2 日

Shanxi University

文本情感倾向分析分类 文本情感倾向分析粗略分为两类

情感倾向性分类

情感倾向性信息抽取

Page 11: 2013 年 11 月 2 日

Shanxi University

情感倾向性分类情感倾向性分类

对于给定的语言粒度篇章、段落、句子、短语或单词是否具有倾向性,以及倾向性的极性进行分类。 分类类别 { 褒义,中性,贬义 } 或主观(含倾向性)、客观(不

含倾向性)。

加入了强度,或将分类状态变成若干级别(将强度包含在不同的状态中)

Page 12: 2013 年 11 月 2 日

Shanxi University

词汇级情感倾向示例

高档与高性价比一肩挑 车主评说 06 新款君威

作为国内中高档车市场的主力干将,别克君威一直口碑素著。

  别克君威的大气、安静、安全、动态舒适等突出亮点在同级车型中无可比拟,使它赢得市场上广大消费者和 30多万用户的认同与赞赏。 06 新款别克君威不仅延承了以上的各项优势,更以兼具响当当的大品牌和出众的性价比,为公商务及家庭用户提供了“品位”与“价值”同时拥有的最佳选择。

Page 13: 2013 年 11 月 2 日

Shanxi University

短语与搭配级情感倾向示例

高档与高性价比一肩挑 车主评说 06 新款君威

作为国内中高档车市场的主力干将,别克君威一直口碑素著。

   别克君威的大气、安静、安全、动态舒适等突出亮点在同级车型中无可比拟,使它赢得市场上广大消费者和 30多万用户的认同与赞赏。 06 新款别克君威不仅延承了以上的各项优势,更以兼具响当当的大品牌和出众的性价比,为公商务及家庭用户提供了“品位”与“价值”同时拥有的最佳选择。

Page 14: 2013 年 11 月 2 日

Shanxi University

句子级褒义情感倾向示例高档与高性价比一肩挑 车主评说 06 新款君威 1

作为国内中高档车市场的主力干将,别克君威一直口碑素著。 1

别克君威的大气、安静、安全、动态舒适等突出亮点在同级车型中无可比拟,使它赢得市场上广大消费者和 30多万用户的认同与赞赏。 1

06 新款别克君威不仅延承了以上的各项优势,更以兼具响当当的大品牌和出众的性价比,为公商务及家庭用户提供了“品位”与“价值”同时拥有的最佳选择。 1

Page 15: 2013 年 11 月 2 日

Shanxi University

篇章级的褒义情感倾向示例

高档与高性价比一肩挑 车主评说 06 新款君威

作为国内中高档车市场的主力干将,别克君威一直口碑素著。

   别克君威的大气、安静、安全、动态舒适等突出亮点在同级车型中无可比拟,使它赢得市场上广大消费者和 30多万用户的认同与赞赏。 06 新款别克君威不仅延承了以上的各项优势,更以兼具响当当的大品牌和出众的性价比,为公商务及家庭用户提供了“品位”与“价值”同时拥有的最佳选择。

Page 16: 2013 年 11 月 2 日

Shanxi University

词汇级的情感倾向分析

2003 Turney 又将单对种子扩展成多对种子,选取了正反面各 7个词汇,分别采用 PMI-IR( pointwise mutual information ) 和 LSA( latent semantic analysis )方法来度量给定词汇与基准词的关联度,确定词汇的语义倾向,实验采用了 GI 中的部分词语(共 3596个),结果表明 PMI-IR 算法的优越性。

Page 17: 2013 年 11 月 2 日

Shanxi University

真实语料中有下面两个例句: ( 1 )新 POLO 的悬架经过调教后,舒适性有所增强,配合舒适的座椅,那种冲过坑洼的颠簸感只是在踏板上能有清晰感觉。 ( 2 )新车强调驾乘乐趣,即在保证宝马良好操纵性能的基础上加强乘坐的舒适性,着力营造良好的商务空间。 在这两个句子中“增强”和“加强”是同义词,在同义词词林中列出词条“增强”、“加强”、“提高”、“增高”、“增进”、“增长”、“滋长”、“如虎添翼”均为同义词。

基于概率潜在语义分析的词汇情感倾向判别

王素格 ,李德玉 ,魏英杰 ,宋晓雷 . 基于同义词的词汇情感倾向判别方法 . 中文信息学报 .

2009,23(5):68-74

宋晓雷 ,王素格 ,李红霞 . 基于概率潜在语义分析的词汇情感倾向判别 . 中文信息学报 .

2011,25(2):89-93

Page 18: 2013 年 11 月 2 日

Shanxi University

基于概率潜在语义分析的词汇情感倾向判别概率潜在语义分析对称参数表示模型

PLSA 对称参数模型

A Z B)|( zap )|( zbp

)(zp

( , ) ( ) ( | ) ( | )z Z

P a b P z P a z P b z

Page 19: 2013 年 11 月 2 日

Shanxi University

利用 得到 A与 B之间的相似度矩阵

利用公式 求得 A与 A之间的相似度矩阵 。

相似度矩阵计算

( , ) ( ) ( | ) ( | )z Z

P a b P z P a z P b z

Page 20: 2013 年 11 月 2 日

Shanxi University

小结

基于 PLSA 的语义倾向判别 ,只需利用少量的基准词 ,比较容易实现且不受任何外部资源的限制,解决了语料规模较小时的数据稀疏问题。

本方法在较小的语料规模上(语料规模大小为570506个词,即不足 60万个词。)对于 2958个测试词汇情感倾向判别的准确率达到了 68.93% 。

Page 21: 2013 年 11 月 2 日

Shanxi University

搭配模式cd

+a

fd+a cd+vfd+

vv+v v+n

a+n

n+a a+va+

a

具有明显的语义倾向:优秀、聪明、漂亮、狡猾、妖艳等。

某些中性词组合可产生情感倾向:油耗高 / 低、技术含量高 /低、精度高 / 低、排量大 / 小、配置高 / 低等。

搭配被认为是一种具有任意性的、重复出现的词语组合。

基于混合语言信息的词语搭配倾向判别方法问题提出

王素格 ,杨安娜 . 基于混合语言信息的词语搭配倾向判别方法 . 中文信息学报 . 2010,24(3):69-74

Page 22: 2013 年 11 月 2 日

Shanxi University

对于“ cd+a” 、“ cd+v” 、“ fd+a” 和“ fd+v”这 4

种模式的搭配采用规则的方法判别其情感倾向 .

1 : ( ( ) ) ( , ) ( )R x N e D y V y A O x y O y

2 : ( ( ) ) ( , ) ( )R x D e D y V y A O x y O y

基于规则的二元词语搭配倾向判别

Page 23: 2013 年 11 月 2 日

Shanxi University

基于概率潜在语义分析的二元词语搭配倾向判别

(( aa)) PLSAPLSA (( bb)) U-U- 型模型型模型

( a )为原始的概率潜在语义模型 .

( b )图U- 型模型判别词语搭配的情感倾向 . X、 Y 表示词语, Z 与 C分别表示词语 X 的潜在语义块、词语 X 与词语 Y 的潜在语义块的情感倾向,词语 Y 通过概率 直接影响语义倾向,而且在这个模型中只有词语 X 被聚类 .

( )p C Y Z

Page 24: 2013 年 11 月 2 日

Shanxi University

采用概率潜在语义分析 + 规则的方法,融合语言信息模型如下:

 

这里 为概率潜在语义情感倾向判别模型, 为基于规则的搭配情感倾向判别模型 .

融合语言信息的二元词语搭配情感倾向判别模型

( , ) 0

( , ) ( , ) 0

( , ) 0

O x y

x y O x y

O x y

正面

搭配 的情感倾向= 中立 =反面

( , ) ( , ) ( , ) , 1O x y P O x y R O x y

( , )P O x y ( , )R O x y

Page 25: 2013 年 11 月 2 日

Shanxi University

二元词语搭配情感倾向的判别结论

基于概率潜在语义模型的方法可以克服基于规则的方法的不足,除模式“ v+v” 、“ v+n” 和“ a+v” 外,基于概率潜在语义模型的方法实验结果优于基于规则的方法;

除模式“ v+v” 和“ v+n” ,采用融合语言信息模型的二元词语搭配情感倾向判别方法的实验结果均是最优的 .

Page 26: 2013 年 11 月 2 日

Shanxi University

句子级情感倾向分析 相关技术无监督的观点句识别方法

基于有监督的机器学习方法。

基于半监督学习方法

基于集成学习方法

基于半监督学习方法和集成学习方法的融合

本文提出一个基于 BootStrapping 的集成分类器的中文观点句识别方法

吕云云,李旸,王素格 . 基于 BootStrapping 的集成分类器的中文观点句识别方法 . 中文信息学报 .

2013,27(5):84-92

Page 27: 2013 年 11 月 2 日

Shanxi University

基于 BootStrapping 的集成分类器观点句识别

Page 28: 2013 年 11 月 2 日

Shanxi University

基于 BootStrapping 的集成分类器观点句识别流程

Page 29: 2013 年 11 月 2 日

Shanxi University

几种学习方法的观点句识别比较结果

Page 30: 2013 年 11 月 2 日

Shanxi University

实验比较结果分析由表 1 看出:无论利用 Bootstrapping 的观点句识别方法在训练集的标注率为 0.4和 1时,集成分类器优于单分类器的观点句识别结果。

当训练集的标注率为 0.4时,各分类器的观点句识别结果可达到训练集为全部带标注类别的水平,即标注率为 1 。

无监督分类方法中选取分值排名在前 60% 的观点句识别的结果整体劣于各分类器利用 Bootstrapping 的观点句识别方法,说明未标注数据对观点句识别的有一定的支持作用。

Page 31: 2013 年 11 月 2 日

Shanxi University

表示形式与传统的文本分类一样仍是向量空间模型研究的重点是特征选择、分类器的构造。主客观以及倾向性类别的非平衡问题。

篇章级文本情感倾向分析

Page 32: 2013 年 11 月 2 日

Shanxi University

A feature selection method based on improved fisher’s discriminant ratio for text sentiment classification

)|()|(

))|()|(()(

2

2 NtDPtD

NtEPtEtF

kk

kkk

基于 Fisher 判别准则的特征选择方法

Fisher 准则函数

基于布尔值的 Fisher 准则函数的计算基于词频(频率)的 Fisher 准则函数的计算

Wang suge, Li deyu. A feature selection method based on improved fishe’s

discriminant ratio for text sentiment classification. Expert Systems with

Applications. 2011.38(2011): 8696-8702

Page 33: 2013 年 11 月 2 日

Shanxi University

8 种特征选择方式的分类的precision 、 accuracy

Page 34: 2013 年 11 月 2 日

Shanxi University

8 种特征选择方式的分类的 F-Value 、 accuracy

Page 35: 2013 年 11 月 2 日

Shanxi University

结论Two experiments are conducted by combining different

feature selection methods with 2 kinds of candidate feature

sets.

The experiment results show that I+FF obtains the best

classification effectiveness, its accuracy achieves 86.61% in

Experiment corpus1.

Further research works will focus on establishing a

sentiment knowledge base based on vocabulary, syntactic,

semantic and ontology.

Page 36: 2013 年 11 月 2 日

Shanxi University

带有情感倾向强度的文本表示

Doc1 W11 W12 … W1m C1

Doc2 W21 W22 … W2m C2

… … … … … …

Docn Wn1 Wn2 … Wnm Cn

( , )j j jA F O

1| | | |j jO O

1A 2A mA C

}{CAT

U

( 精确 ,19.9)( 稳

定 ,15.1)( 隐患 ,-12.9)

… C

Doc1 1.0 0.3 0.1 … 1

Doc2 0.8 0.7 0.0 … 1

… … … … … …

Doc400 0.0 0.0 1.0 … 0

基于赋权粗糙隶属度的文本情感分类方法

Page 37: 2013 年 11 月 2 日

Shanxi University

赋权粗糙隶属度

王素格,李德玉,魏英杰 . 基于赋权粗糙隶属度的文本情感分类方法 . 计算机研究与发展 . 2011.48(5):855-861

Page 38: 2013 年 11 月 2 日

Shanxi University

数据的压缩率

文本与属性 原始系统 离散化后系统 压缩比

文本 400 339 (表示不同) 84.75%属性 495 113 22.85%

结论:本文提出的离散化方法将 495个候选特征压缩到 113个,压缩比达到了 22.85%,表明该离散化方法在数据降维方面效果很好。

实验结果与分析

Page 39: 2013 年 11 月 2 日

Shanxi University

基于赋权粗糙隶属度的文本情感分类方法

文本情感分类实验结果

50

55

60

65

70

75

80

85

90

95

100

PP RP FP PN RN FN F

6. 1 图 多种分类器测试结果比较

1方法2方法3方法

结论提出的粗糙隶属函数 ( 方法1) 的测试效果优于文献[142] 中的粗糙隶属函数 ( 方法 2) ,表明在文本情感分类中应该考虑特征的情感倾向强度因素,综合评价指标提高约2.5%。与支持向量机方法 ( 方法3)相比,本文方法正面召回率和 F 值、反面精确率均优于支持向量机方法,综合 F 值略有提高

Page 40: 2013 年 11 月 2 日

Shanxi University

在评论文本中,经常出现褒贬类别不平衡现象。为了保持褒贬类别平衡,给出了文本 d 的 ε 领域、文本集D 的平均 k 邻域、高密可达等概念 .

提出了 BRC( boundary region cutting )算法和BRC + RS( random sampling) .

与同类裁剪方法,利用支持向量机分类实验,结果表明,在数据压缩、各项分类评价指标,以及分类结果的可解释性等方面均优于其它方法。

Sample cutting method for imbalanced text sentiment classification based on BRC

Wang suge, Li deyu, Zhao lidong. Sample cutting method for imbalanced text sentiment classification based on

BRC. Knowledge-Based System. 37 (2013) 451–461

Page 41: 2013 年 11 月 2 日

Shanxi University

Boundary region cutting algorithm BRC

The main idea of the algorithm BRC is as follows

For every high-density neighbor in the boundary region, we cut some

majority class texts from it to clarify the disorder boundary region and

to balance two-class texts when the majority class texts are much

more than the minority class texts.

If all other samples in the high-density neighbor of a minority text are

majority class texts we consider it as a noise or an outlier, and put it

away.

Page 42: 2013 年 11 月 2 日

Shanxi University

Sample cutting method for imbalanced text sentiment classification based on BRC

Fig. 9. The best whole average accuracy Acc on six text sets with four

cutting

schemes.

Page 43: 2013 年 11 月 2 日

Shanxi University

要素级倾向性抽取要素级倾向性抽取

指根据预先给定的倾向性单元定义,对于输入的一篇文本(通常是句子或者篇章),从中抽取其所评论的评价对象、评价属性、评价词和评价者等组成情感倾向评价单元要素,并识别要素或者评价单元间的关系

这类方法可将具有倾向性的文本转化为框架、槽等情感倾向性表示形式,继而供情感分析上层的研究。

需要命名实体识别、关系抽取、句法分析等自然语言处理底层技术。

Page 44: 2013 年 11 月 2 日

Shanxi University

要素级情感倾向抽取示例<Doc1>诺基亚 lumia 新款 win8系统,用起来很流畅哦,很好用 </Doc1>

<Doc2>我舍友的诺基亚 Lumia竟然摔坏了,就摔了一下</Doc2>

<Doc3> 强烈推荐北京银行信用卡。人家北京银行不差钱儿,是偶用过的信用卡中活动最多、礼品最好滴。 </Doc3>

<Doc1>诺基亚 lumia win8系统 流畅 1

<Doc1>诺基亚 lumia win8系统 好用 1

<Doc2>诺基亚 Lumia NULL 摔坏 -1

<Doc3>北京银行信用卡 活动 最多 1

<Doc3>北京银行信用卡 礼品 最好 1

Page 45: 2013 年 11 月 2 日

Shanxi University

基于模板的候选评价对象抽取

候选评价对象 :名词或名词短语模板的形式(词形模板和词性模板)

模板 1 ):“ slot-len,…,slot-i,…,slot-1,word, #” ; 模板 2 ):“# ,word,slot+ 1,…,slot+ i,… , slot+ len” ; 模板 3 ):“ slot-len,…,slot-i,…,slot-1, word, slot+ 1,…,slot+ i,…,slot+ len”

宋晓雷 ,王素格 ,李红霞 . 面向特定领域产品评价对象自动识别研究 . 中文信息学报 .2010,24(1):89-93

Page 46: 2013 年 11 月 2 日

Shanxi University

基于 bootstrapping 的自动抽取研究

模板抽取模块 评价对象抽取模块

模板种子集

模板打分

候选模板集

候选评价对象集

预处理及打分

评价对象集

模板驱动抽取

对象驱动抽取

Bootstrapping 算法流程图

更新模板集

更新评价对象集

Page 47: 2013 年 11 月 2 日

Shanxi University

基于 bootstrapping 的自动抽取研究结果

Page 48: 2013 年 11 月 2 日

Shanxi University

基于 K-means 的产品名称和属性的识别

聚类特征: 文档频率、词频、段落信息 距离度量方法: 夹角余弦 聚类结果举例: { 宝马,奥迪,骏捷,思域… } { 动力,空间,发动机,内饰… }

Page 49: 2013 年 11 月 2 日

Shanxi University

基于 K-means 的产品名称和属性的识别

评价指标 实验方法

精确率% 召回率% F1值%

产品名称 产品属性 产品名称 产品属性 产品名称 产品属性

实验 4 82.86 64.86 87.00 57.14 84.88 60.76

实验 5 73.13 29.73 66.18 25.00 69.48 27.16

说明:实验 4 对正确的评价对象聚类; 实验 5 对自动识别的评价对象聚类。结论: 1 )预处理的引入提高了实验性能 2 )综合使用词形模板和词性模板,结果的 F 值略有提高 3 )聚类结果: 产品名称( 69.48% )产品属性( 27.16%)

表 2 :产品名称与产品属性识别结果

Page 50: 2013 年 11 月 2 日

Shanxi University

基于 Web山西旅游信息服务系统

Page 51: 2013 年 11 月 2 日

Shanxi University

基于用户评论的汽车产品评价系统

Page 52: 2013 年 11 月 2 日

Shanxi University

中文文本倾向性分析评测

随着互联网的发展和带有情感色彩的主观性文本的增多 , 文本情感分析得到了越来越多的学者和研究机构的关注 .

情感分析首先引起了国际文本检索会议 TREC 的关注 ,并从 2006 年开始每年都有情感分析相关的评测任务出现 . 首次关注的情感分析任务是博客检索任务 .

Page 53: 2013 年 11 月 2 日

Shanxi University

在国内 , 针对汉语的情感分析问题的研究才刚刚开始 .

COAE(Chinese opinion analysis evaluation)

始办于 2008 年 , 是国内第一个情感分析方面的评测 .

它致力于推动中文情感分析理论和技术的研究和应用 , 同时建立中文情感分析研究的基础数据集 , 为中文情感分析的发展提供了很好的施展平台 .

中文文本倾向性分析评测

Page 54: 2013 年 11 月 2 日

Shanxi University

COAE2011 共设置 4 个任务 [64].

中文文本倾向性分析评测

Page 55: 2013 年 11 月 2 日

Shanxi University

观点词抽取与极性判别 采用词汇资源与统计方法相结合抽取观点词 词汇词性置信度排序方法( WPC )、资源的置信度排序方法( R

C )

观点句抽取与极性判别

采用观点词汇、机器学习与规则相结合的方法抽取文本中的观点句。

规则与统计相结合的方法( RSM )

评价搭配抽取与极性判别

采用模板匹配与近邻法抽取了评价搭配,并利用所包含的观点词汇对其极性进行判别。

总结

COAE2011 评测报告(山西大学)

Page 56: 2013 年 11 月 2 日

Shanxi University

56

方法 类别 P@1000 Precision Recall F1Raccurac

y

WPC

电子产品 0.63500 0.340000 0.101700 0.156600

0.101700

影视娱乐 0.60600 0.353000 0.107000 0.164200

0.107000

金融证券 0.58700 0.361000 0.109900 0.168500

0.109900

RC

电子产品 0.67400 0.340000 0.101700 0.156600

0.101700

影视娱乐 0.62400 0.353000 0.107000 0.164200

0.107000

金融证券 0.67200 0.361000 0.109900 0.168500

0.109900

Median   0.57126 0.343004 0.094744

0.147593

0.094744

Best   0.67400 0.612500 0.1194000.18330

00.11940

0

结果分析

•三个领域观点词的各项指标

Page 57: 2013 年 11 月 2 日

Shanxi University

57

结果分析 领域观点词的宏平均和微平均

评价指标 方法 P@1000 Precision Recall F1 Raccuracy

宏平均

WPC 0.609300 0.351300 0.106200 0.163100 0.106200

RC 0.656700 0.351300 0.106200 0.163100 0.106200

Median 0.571267 0.342993 0.094740 0.147880 0.094740

Best 0.656700 0.486000 0.113600 0.174400 0.113600

微平均

WPC 0.609300 0.351300 0.106200 0.163100 0.106200

RC 0.656700 0.351300 0.106200 0.163100 0.106200

Median 0.571267 0.337933 0.094740 0.147547 0.094740

Best 0.656700 0.468100 0.113500 0.174400 0.113500

Page 58: 2013 年 11 月 2 日

Shanxi University

58

结果分析

三个领域观点句的各项指标

方法 领域 Precision Recall F1 P@1000 Raccuracy

RSM

电子产品 0.437077 0.602713 0.506702 0.588000 0.484848

影视娱乐 0.178439 0.507730 0.264071 0.191000 0.203417

金融证券 0.092314 0.439072 0.152554 0.108000 0.114120

Median 0.240815 0.397946 0.276324 0.290183 0.255445

Best 0.729751 0.798097 0.693304 0.800000 0.660324

Page 59: 2013 年 11 月 2 日

Shanxi University

59

结果分析 观点句的宏平均和微平均

评价指标 方法 Precision Recall F1 P@1000 Raccuracy

宏平均

RSM 0.235943 0.516505 0.307776 0.295667 0.267462

Median 0.240815 0.406039 0.276324 0.290183 0.255445

Best 0.534693 0.723411 0.541377 0.532000 0.494511

微平均

RSM 0.309947 0.575586 0.402924 0.295667 0.412422

Median 0.315252 0.450532 0.357871 0.290183 0.363170

Best 0.654448 0.775397 0.639614 0.532000 0.611425

Page 60: 2013 年 11 月 2 日

Shanxi University

60结果分析

评价对象的各项指标

领域与指标 方法 P@1000 Precision Recall F1 Raccuracy

电子产品

TRM

0.280000 0.190909 0.039728 0.065769 0.039728

影视娱乐 0.018000 0.025788 0.011719 0.016115 0.011719

金融证券 0.009000 0.009792 0.010753 0.010250 0.010753

宏平均

TRM 0.102333 0.075496 0.020733 0.032532 0.020733

average 0.065524 0.074285 0.045504 0.054307 0.045504

max 0.111000 0.133933 0.081763 0.091606 0.081763

微平均

TRM 0.102333 0.087644 0.034500 0.049511 0.033610

average 0.065524 0.101236 0.081829 0.083421 0.069819

max 0.111000 0.159847 0.149071 0.144701 0.135726

Page 61: 2013 年 11 月 2 日

Shanxi University

61

结果分析 评价短语的各项指标

领域与指标 方法 P@1000 Precision Recall F1 Raccuracy

电子产品

TRM

0.322000 0.218182 0.045403 0.075164 0.045403

影视娱乐 0.016000 0.022923 0.010417 0.014324 0.010417

金融证券 0.017000 0.015912 0.039939 0.022757 0.016897

宏平均

TRM 0.118333 0.085672 0.031919 0.046510 0.024239

average 0.051429 0.055383 0.050590 0.046795 0.035003

max 0.118333 0.085672 0.100699 0.087237 0.066468

微平均

TRM 0.118333 0.100954 0.039739 0.057029 0.038256

average 0.051429 0.074015 0.061917 0.062064 0.052096

max 0.118333 0.117425 0.105575 0.10248 0.095492

Page 62: 2013 年 11 月 2 日

Shanxi University

62

结果分析 评价搭配的各项指标

领域与指标 方法 P@1000 Precision Recall F1 Raccuracy

电子产品

TRM

0.205000 0.108484 0.022575 0.037373 0.022575

影视娱乐 0.007000 0.008596 0.003906 0.005372 0.003906

金融证券 0.003000 0.001836 0.004608 0.002626 0.004608

宏平均

TRM 0.071667 0.039639 0.010363 0.016431 0.010363

average 0.027190 0.025047 0.020403 0.019833 0.015183

max 0.071667 0.039639 0.037671 0.034780 0.025728

微平均

TRM 0.071667 0.047212 0.018584 0.026670 0.018584

average 0.025778 0.033019 0.027191 0.027323 0.023090

max 0.071667 0.061600 0.046856 0.048312 0.043298

Page 63: 2013 年 11 月 2 日

Shanxi University

63总结

在观点词抽取、观点句召回率、评价对象、评价短语以及评价搭配及其情感倾向的精确率方面取得了比较理想的结果

在观点句精确率、评价对象、评价短语以及评价搭配及其情感倾向的召回率方面还需深入研究

Page 64: 2013 年 11 月 2 日

Shanxi University

COAE2012 共设置 3 个任务 [64]任务编号

类型 任务名称 任务描述

任务 1 句子级 基于否定句的句子级倾向性分析

在给定否定句子集合中,判别每个否定句的情感倾向性

任务 2 句子级 比较句的识别与观点要素抽取 

包含两个任务子任务 1 (必选)从给定句子集合中,识别出哪些句子是比较句子任务 2 (可选)从识别出的比较句中,抽取出相应的比较实体、实体要素以及相应的情感倾向性

任务 3 篇章级 篇章级倾向性打分 对于给定的评论篇章进行打分( 1-5 分)

中文文本倾向性分析评测

Page 65: 2013 年 11 月 2 日

Shanxi University

比较句任务标注 2012-2013 两届

例如下面四个句子

<Doc1> 诺基亚 N8 的屏幕不如 iphone 的好 </Doc1>

<Doc2> 诺基亚 N8 的屏幕挺好的 </Doc2>

<Doc3>iphone4s 屏幕是目前所有手机中屏幕最好的 </Doc3>

<Doc4> 诺基亚 N8 的屏幕与摩托里程碑 2 的相比差不多 </Doc4>

Page 66: 2013 年 11 月 2 日

Shanxi University

COAE2014 共设置 5 个任务 [64]

中文文本倾向性分析评测

任务号 类型 任务名称 任务描述任务 1 篇章级 面向新闻的情感

关键句抽取与判定

在给定新闻集合 (每篇文章已切成句子 )中,判别每篇文章的情感关键句。

任务 2 篇章级 跨语言情感倾向性分析

本任务是对给定多语言篇章级数据集,要求参加系统自动分析多语言篇章级数据集每个情感句的情感倾向性,即(褒义、贬义或者中性)。

任务 3 词语级 微博情感新词发现与判定

本任务是对给定大规模的微博句子集,要求参赛系统自动发现新的词语 (不在给定的词典以内 ),并每个词语的情感倾向性,即(褒义、贬义或者中性)。

任务 4 句子级 微博观点句识别 在给定的微博句子集合中,判别每个句子的情感倾向性

任务 5 要素级 微博观点句评价对象识别

任务 5在任务 4识别结果的基础上进行,要求找出任务 4所识别的每个观点句中观点的所针对的评价对象,并对所做评价的倾向性做出判断。

Page 67: 2013 年 11 月 2 日

Shanxi University

下一步的研究方向

从文本情感分析的任务,下一步的研究有以下五个方面:任务 1: 基于上下文特征的评价词抽取 任务 2: 评价对象的抽取与情感分类任务 3: 篇章级的情感分类任务 4 :观点检索任务 5 :观点文摘

Page 68: 2013 年 11 月 2 日

Shanxi University

谢谢大家!