为高等教育寻找有意义的绩效评估方法

为高等教育寻找有意义的绩效评估方法岳卫平

汤森路透

2011年 11

提纲•高校科研绩效评估的重要意义•引文分析相关理论和问题•建立科研绩效评估分析的动态管理平台•汤森路透简介•小结

2


3

中国在过去 12 年的高等教育改革方面取得了巨大成就• 1998 年北京大学百年华诞之时，江泽民主席提出了中国高等教育的宏伟计划（ 985 工程）– 2006 年，全国高等教育经费投入占

GDP 的比重提高到 1.5% ，是十年前的 3 倍；

– 2009 年，全国高等教育机构招生数量已经达到 600 多万，是 1997年的 6 倍多；

– 近 5 年，高校获国家科技三大奖的比例全面超过了 50% 。

4

国家教育十二五规划纲要

加快建设一流大学和一流学科。以重点学科建设为基础，继续实施“ 985 工程”和优势学科创新平台建设，继续实施“ 211 工程”和启动特色重点学科项目。

改进管理模式，引入竞争机制，实行绩效评估，进行动态管理。鼓励学校优势学科面向世界，支持参与和设立国际学术合作组织、国际科学计划，支持与境外高水平教育、科研机构建立联合研发基地。

5

为高等教育寻找有意义的绩效评估方法

如何更好的收集、分析、呈现和诠释大学在学生、教员、教学项目和研究绩效方面的现状与发展趋势，以更好的为管理层提供决策的情报和依据已经成为全球科研管理人员共同关心和探索的问题。

6

汤森路透对高等教育机构管理部门的调查 2008 年

7

卓越大学的评价与形成• 斯坦福大学曾经用五个指标来衡量“卓越”：1. 教职员工的论文产出率；2. 研究的影响；3. 奖项和同行评估；4. 学生的质量；5. 教学质量

8

Source: Jonathan R. Cole, The Great American University: Its Rise to Preeminence, Its Indispensable National Role, Why It Must Be Protected

世界一流大学的特点与构成要素

9Jamil Salmi (2009). The Challenge of Establishing World-Class Universities, Proceedings of3rd International Conference on World –Class Universities, p7.

人才

资源管理

优秀的人才顶尖的

研究成果

有效技术转移

英国泰晤士高等教育大学排名

10

上海交通大学：世界大学排名

Criteria Indicator %

Quality of EducationAlumni of an institution winning Nobel Prizes 10%and Fields Medals

Quality of Faculty

Staff of an institution winning Nobel Prizes 20%and Fields MedalsHighly cited researchers in 21 broad subjects

20%

Research Output

Papers published in Nature and Science

20%

Papers indexed in Science Citation Index-Expanded and Social Science Citation Index

20%

Per Capita PerformancePer capita academic performance of an institution

10%

Total 100% 11

“如果你可以度量…”

“ 如果你能够度量你所描述的事物 , 而且能够将其用数字表达出来，那么可以说你是了解该事物的；但是如果你不能够度量它，那么你所掌握的知识则是不充分且不具有说服力的”

— William Thomson, Lord Kelvin 英国物理学家、工程师，热力学之父

12

定量分析大学的科研产出和影响力定量分析的特点 :

– 相对客观

– 数据的透明度

– 可重复性

– 可比性

– 缺乏同行评议的深度

13


14

Eugene Garfield

信息科学领域的开拓者

引文索引的创始人

科学引文索引

15

16

2004

Cited References

19931991

1995

1980

2003Times Cited

Related Records

2003

2004

1999

2002

1994

2004

Citing

从一篇高质量的文献出发沿着科学研究的发展道路…

Cited References 越查越深Times Cited 越查越新Related Records 越查越广

1998

分析：学科分布、发展趋势、机构 / 作者等

引文索引：信息检索和分析• 一种新的科技信息检索方法，在此之前应用于法律文档中 (谢泼得引文 )

• 克服了信息索引和检索中与词汇处理相关的问题• 使得人们可以沿着文献发表的年代向前追溯• 揭示了研究人员之间的社会认知联系，以及科学体系的组织结构和层次

• 能够辅助进行研究机构的定量评估与描述—“将科学研究的工具用于科学本身” Derek de Solla Price (1963)

Eugene Garfield, “Citation indexes for science: a new dimension in documentation through association of ideas,” Science 122(3159):108-11, 15 July 1955

17

引文用于绩效评估的原理• 引文是科学系统中用来偿还研究债务的货币。论文的被引用次数较高表明它同同行那里赢得了较高的“信用”。

• 科学出版物的正规形式和出于学术道德必须引用他人研究成果的要求

• 其他一些理论，包括将引文作为修辞工具、建构主义理论

Robert K. Merton, (1910-2003), sociologist of science, Columbia University. Normative theory

18

实证研究：被引频次和同行认可程度之间的相关性

大量研究发现 , 二者的相关系数 r = 0.7 ~ 0.9

Smith and Eysenck, comparing 1996 and 2001 RAE scores given to psychologists at 38 UK universities (peer review) with their citation counts,

concluded:“The two approaches measure broadly the same thing.”

Name Field Year

Kenneth E. Clark Psychology 1957

Jonathan R. Cole & Stephen Cole Physics 1967, 1973

Henry G. Small Collagen research 1977

Julie A. Virgo Cancer research 1977

Michael E.D. Koenig Pharmaceutical research 1983

Eugene Garfield Nobel Prize winners 1992

Charles Oppenheim University rankings (RAE) Mid 1990s-

Andy T. Smith & Michael Eysenck Psychology 2002

19

研究绩效定量评价基础指标与思路

20

总体影响力

即机构发表论文的总被引频次

相对影响力

即机构发表论文的篇均被引频次

与全球论文篇均被引频次的比值

定量评价基础指标

论文产出即在高影响力、同行评议国际学

术期刊所发表的论文数量

学科领域分析学科领域分析

相对影响力对比相对影响力对比

相关机构对比相关机构对比

高被引论文高被引论文

机构百分位排名机构百分位排名

…………

标杆分析（ Benchmarking ）的必要性与意义• 对于高等院校

– 揭示本机构的研究绩效并识别需要优先发展的研究领域；– 监测科技政策对研究绩效的推动作用；– 展示机构研究实力，吸引顶尖的研究人员、优秀的学生以及更多的研究经费

• 对于基金管理机构– 识别需要优先资助的研究领域，

优化基金资助体系；– 监测并评估基金资助项目的

投入产出效率

21

引文分析和研究绩效评估 : 从国家到个人基本准则

– 基础研究优于应用研究– 整体优于个体– 长期优于短期– 相对指标优于绝对指标– 多指标优于单指标

总的来说：同类对比，而非“拿苹果与橘子比较”

Henk F. Moed, Citation Analysis in Research Evaluation, (Springer 2005)

22

定量分析与同行评议“ 科学计量学指标并不是要取代专家 ( 评议 ) ，而是为了能够对研究工作进行观察和评论，从而使专家掌握足够的信息，形成根据更充分的意见，并在更高的信息集成水平上更具权威性。”

Dr. Ronald Rousseau, “ 评价科研机构的文献计量学和经济计量学指标”，《科研评价与指标》，红旗出版社，第 17页， 2000年

23

同行评议

相互补充

定量分析

Web of Science— 全球权威学术信息• 严格遵循 50 多年来一贯的选刊标准，遴选全球最具学术影响力的高质量期刊

• 完整收录每一篇文章的全部信息，包括全面的引文信息

• 前所未有的回溯深度，包含 1900 年至今的共 4900多万条文献和 7亿多条参考文献

24

布拉德福定律： 80% 的重要科技文献集中在 20% 的出版物中布拉德福定律： 80% 的重要科技文献集中在 20% 的出版物中

ESSENTIAL SCIENCE INDICATORS 全球学术成果定量评价基准• 来自于 Web of Science 的 10 年滚动数据，基于

22 个学科；• 总影响力（总引用次数）进入全球前 1% 的科学家、研究机构（或大学）排名；进入全球前 50% 的国家（或地区）及学术期刊排名

• 高被引论文、热点论文和研究前沿分析

25

全球权威学术信息

主流文献计量方法

INCITES机构研究绩效综合分析工具• 来自于 Web of Science 的 30 年数据，提供更灵活的学科分类体系；

• 基于全球基准数据，深入分析机构单篇论文、作者、学科、科研合作及研究影响力

• 对全球 170 多个国家与地区的 2,000 多所研究机构的产出和影响力进行多角度比较与分析

26

全球权威学术信息

主流文献计量方法

全球范围内使用 Web of Science 进行研究绩效评估的机构

27

全球利用 Web of Science 数据进行科研绩效评估的机构与报告

28

US, NSF: biennial Science & Engineering Indicators report (1974 - ) European Union, EC’s DG XII (Research Directorate) UK, Office of Science & Technology; Higher Education Funding Council Canada, NSERC, FRSQ (Quebec), Alberta Research Council France, Min. de la Recherché, OST - Paris, CNRS Italy, CRUI (University Rectors) MURST (Ministry of Research, CNR Spain, CSIC (Spanish Science Agency), CIRIT (Catalonia) Japan, National Institute of Informatics, Ministry of Education, Ministry of Economy, Trade & Industry People’s Republic of China, ISTIC, Chinese Academy of Sciences, Shanghai Jiao Tong University, Wuhan University Korea, Korea Research Foundation, Korea Advanced Inst. Of S&T Australia, Australian Academy of Science, gov’t lab CSIRO New Zealand, S. Africa, Portugal, Ireland, Switzerland, Austria, Poland, Czech Republic, Singapore, Malaysia, Thailand, Sweden, Norway, Denmark, Finland, Mexico, Brazil, Chile, Argentina, Uruguay, Russia… and more!

28


29

学校整体科研绩效仪表盘 ( 以某高校为例 )

分析仪表板中的四个引文指标能够从不同角度衡量该机构的学术影响力与全球平均水平相比下的健康状况，•指针在绿色区域表示相对影响力较高，•指针在黄色区域表示在中等水平，•指针在红色区域则表示相对影响力较低。

30

明确机构全球定位

31

北京大学

C9 高校

985 高校

中国大陆

以全球论文篇均被引频次为基准，北京大学已经在 2007年超过全球平均水平，并均超过中国大陆、985高校和 C9高校的水平

以全球论文篇均被引频次为基准，北京大学已经在 2007年超过全球平均水平，并均超过中国大陆、985高校和 C9高校的水平

揭示机构学科优势

北京大学进入全球前 1%的学科数量在中国高校中位列第一，其他 C9 高校数据见右表

32数据来源： Essential Science Indicators数据收集日： 2011. 7. 28

深入了解学科布局

33

化学

物理

临床医学

1.化学和物理占机构总体产出比较有所下降；

2.临床医学保持着稳步增长的比例

1.化学和物理占机构总体产出比较有所下降；

2.临床医学保持着稳步增长的比例

透视学科相对影响力超过全球平均影响力

材料科学

植物 / 动物科学

接近全球平均影响力化学

物理学

数学

工程学

社会科学

34

优势学科背后的高绩效团队（以某高校为例）物理化学领域中科研成果较多的学术带头人

快速锁定优势研究领域背后的学科带头人，以及他们的研究成果影响力

35

物理化学领域中学术带头人的学术表现（以某高校为例）

分析仪表板中的四个引文指标能够从不同角度衡量该学术带头人的学术影响力与全球平均水平相比下的健康状况，•指针在绿色区域表示相对影响力较高，•指针在黄色区域表示在中等水平，•指针在红色区域则表示相对影响力较低。

36

37

与中科大的合作研究影响力已经超过平均水平，但是与东京工业大学的合作成果具有更高的影响力

合作机构分析（以某高校为例）

合作伙伴对比—中科大（以某高校为例）

38

与中科大的合作研究在 1999 年以后逐渐密切，研究成果的影响力已经超过全球平均水平。

39

北京大学

香港大学东京大学

机构研究绩效对比分析

40

•北京大学 2007~2009年 10,193 篇论文

•哈佛大学 2007~2009年 45,404 篇论文

高被引论文—学科发展基础与潜力

41数据来源： Essential Science Indicators数据收集日： 2011. 7. 28

跨学科研究主题• 以香港大学

2001~2010 年间 318篇高被引论文为基础数据，分析前 50 个关键词与学科的相关关系

42数据来源： Web of Science数据收集日： 2011. 09. 01

流感病毒相关研究流感病毒相关研究

晶体结构晶体结构

系统稳定性系统稳定性

建立绩效评估分析的动态管理工具，以数据和信息支撑高校发展战略规划与管理• 对比国内外其它机构 , 展开研究绩效评估与分析• 发现研究前沿、趋势和有影响力的研究人员以及学术新人

• 展示优势学科和研究领域，确定下一步重点发展的学科和领域

• 建立可以度量的发展目标，准确地、智能化地分配研究经费

• 了解和跟踪研究合作现状，发现新的研究机会 • 为基金申请、奖励、师资和学生招聘等提供支持 • 制定以计量指标为组成的研究战略，以跟踪其实施

43


44

45

THOMSON REUTERS 汤森路透全球领先的智能信息服务，专注于专业与商业领域全球领先的智能信息服务，专注于专业与商业领域

在我们所服务的市场数一数二在我们所服务的市场数一数二

智能信息将专家的智慧、对行业的深刻理解和创新的技术独特地整合在一起，为决策者提供采取行动所必需的知识，帮助他们更快地作出更好的决策

45

汤森路透：智能信息服务的六大领域

46

为 1亿 5 千万人的医疗提供信息 .

全美前 100 家会计事务所， 99 家使用 Checkpoint

世界 98% 的律师行信赖 Westlaw

全球 50 多万专业用户

法律

金融

医疗

科技

税务和会计

路透新闻每天送达 10 亿多人

传媒

全球 2 千多万研究人员使用。

46

为研究机构提供全方位整合解决方案

47

访问全球最权威的学术信息

提高写作与文献管理效率，为科学家提供合作平台

评估研究绩效，支撑机构发展战略

为科研管理层提供权威、专业的绩效评估解决方案

48


49

结语

“到 2020 年，高等教育结构更加合理，特色更加鲜明，人才培养、科学研究和社会服务整体水平全面提升，建成一批国际知名、有特色、高水平的高等学校，若干所大学达到或接近世界一流大学水平，高等教育国际竞争力显著增强。”

——国家教育十二五规划纲要

50

祝中国科技大学早日步入世界一流大学之林！数据来源： Web of Science, Essential Science Indicators， InCites

联系方式： [email protected]

mailto:[email protected]

为高等教育寻找有意义的 绩效评估方法

Documents

为高等教育寻找有意义的绩效评估方法