报告人：刘玉岭报告人：刘玉岭专 业：信息安全专 业：信息安全导 师：连一峰导 师：连一峰实验室：信息安全国家重点实验室实验室：信息安全国家重点实验室

硕士论文开题报告：

基于博弈理论的安全技术绩效评估方法研究

选题背景及意义国内外研究现状研究内容和预期结果研究方法预期工作进度参考文献

选题背景及意义选题背景及意义

• 绩效评估是针对网络安全防护系统的保护能力、响应能力、安全性、可靠性、易用性等方面因素的综合考量

• 随着网络安全产品及相关技术的不断发展和逐步成熟，如何有效评价网络安全防护系统的效益，逐渐引起了国内外网络安全研究人员的重视

选题背景及意义选题背景及意义

• 准确、客观、具有实际对比参考价值的绩效评估，能够帮助我们更好地判断各种安全措施的成本和实施效果，考察网络防护系统的综合绩效，进而为设计网络防护系统的架构、选择和部署安全措施、管理安全技术及产品等工作提供准确的指导和定量参考

国内外研究现状国内外研究现状

信息安全系统的绩效评估入侵检测系统的绩效评估防火墙的绩效评估

国内外研究现状国内外研究现状

1.信息安全系统的绩效评估• Scott Hamilton, Norman L. Chervany 等

人提出管理信息系统（ MIS ）的评估架构– 将评估内容分为目标系统的效率和有效性两方面– 效率偏重 MIS 系统对资源的利用能力，有效性偏重用户和 MIS 系统的交互和完成任务的能力

国内外研究现状国内外研究现状

1.信息安全系统的绩效评估• A. Kankanhalli 等人提出信息系统安全有效

性模型– 防范非授权访问或资产误用的安全措施的防护能力– 该模型分析了安全措施、组织因素和信息系统安全有效性之间的关系，并采用问卷调查的方式来获取模型数据

国内外研究现状国内外研究现状

1.信息安全系统的绩效评估• Al-Salihy 等人提出了信息安全系统的绩效评

价方法– 首次阐明了和信息安全系统绩效相关的外界环境因素

– 采用了因素分析和多域分析的方法寻找各因素对网络安全系统绩效的影响程度大小，为管理者提供决策信息

国内外研究现状国内外研究现状2.入侵检测系统的绩效评估• Fink, G.A.; Chappell, B.L 等人提出了一种

针对网络入侵检测系统（ IDS ）进行绩效评估的方法– 将 IDS 的绩效相关指标划分为三部分：第一部分指标用于描述系统的质量问题；第二部分指标关注系统的构架问题；第三部分指标描述了系统的功能性指标

国内外研究现状国内外研究现状

2.入侵检测系统的绩效评估• Tan, K. M. C. Maxion, R. A. 等分析了基于

异常行为检测的入侵检测系统的性能评价方法

• Antonatos, S.; Anagnostakis, K.G. 等人系统的分析了基于特征匹配的网络入侵检测系统的性能评价方法

国内外研究现状国内外研究现状

3.防火墙的绩效评估• 一是测试防火墙过滤指定类型互联网攻击的

抗攻击能力• 二是测试防火墙一旦被攻破后的失效状态• 针对防火墙的安全测试一般有白盒测试和黑

盒测试两种。黑盒测试是当前最有效、最通用的评测防火墙安全性的手段。

国内外研究现状国内外研究现状

• 综合来看，上述各种方法主要存在以下问题：a)评估指标存在片面性，缺乏统一的绩效评估指标库

b)缺乏对于攻击方和防御方之间相互影响及关联关系的分析能力

c)缺乏对于防护系统的动态测评能力

研究内容研究内容

• 针对上述研究存在的问题，提出基于博弈论的网络防护绩效评估方法。主要包括下面两部分研究内容：

I. 绩效评估指标参数的提炼和获取II. 网络防护绩效评估模型及计算方法的设计

研究方法研究方法

I. 绩效评估指标参数的提炼和获取 风险评价指标体系的融合a) 风险评价指标体系包括脆弱性测度指标、威胁测度指标和资产测度指标

b) 脆弱性测度指标和威胁策略指标用于评估风险威胁方（攻击者）的威胁收益和威胁成本

c) 资产测度指标用于与现有技术标准规范所生成的指标相结合，评估风险防御方（防御系统）的防御收益和防御成本

研究方法研究方法

I. 绩效评估指标参数的提炼和获取 现有技术标准规范的融合a) 目前我国对防火墙、入侵检测系统、漏洞扫描器等典型的安全产品制定了相关的标准

b) 参考标准所规定的技术要求及测试评价方法，从网络防护功能指标、网络防护性能指标和网络防护环境因素指标三个方面入手，结合资产测度指标中的相关内容，建立统一的绩效评估指标

研究方法研究方法

II.基于博弈理论的网络防护绩效评估模型 引入基于博弈理论的风险评估模型，将风险威胁方和风险防御方作为参与网络攻防的博弈双方

根据双方可采取的博弈策略（包括威胁策略和防御策略）确立博弈规则，按照威胁方和防御方各自的收益和成本对防护效果进行评估

研究方法研究方法

II.基于博弈理论的网络防护绩效评估模型 通过对实施不同网络防护措施情况下的风险

评估值之间的差异，对网络防护措施的有效性进行对比分析

研究不同防御策略下威胁方和防御方的损益函数和纳什均衡点

可行性分析可行性分析

指标参数提取的可行性： Fink, G.A.; Chappell, B.L 等人在论文中

对入 侵检测系统的绩效评估指标进行了分类和归纳

国内外的一系列的标准规范中相关网络技术及产品的技术要求和测试评价方法

建立绩效评估模型的可行性： 参考基于博弈理论的风险评估模型

预期研究成果预期研究成果

建立网络防护绩效评估指标体系设计网络防护绩效评估模型及计算方法开发网络防护绩效评估原型系统

相关工作进度相关工作进度

时间 工作安排2007.9~2007.12 有关网络防护绩效评估，博弈理论及相关

技术标准的调研

2008.1~2008.6 网络防护绩效评估计算方法设计及模型建立

2008.7~2008.11 网络防护绩效评估系统的实现

2008.12~2008.12 测试验证并改进网络防护绩效评估计算方法及模型

2009.1~2009.3 撰写毕业论文

参考文献参考文献• Scott Hamilton, Norman L. Chervany. Evaluating Information System

Effectiveness - Part I: Comparing Evaluation Approaches. MIS Quarterly, 1981.

• A. Kankanhalli, H. H. Teo, B. C. Y. Tan and K. K. Wei. An Integrative Study of Information Systems Security Effectiveness. International Journal of Information Management 2003.

• Al-Salihy, W.; Ann, J.; Sures, R. Effectivess of Information Systems Security in IT Organizations in Malaysia 。 Communications, 2003. APCC 2003. The 9th Asia-Pacific Conference on Volume 2, Issue , 21-24 Sept. 2003 Page(s): 716 - 720 Vol.2

• Fink, G.A.; Chappell, B.L.; Turner, T.G.; Oapos;Donoghue, K.F. A Metrics-Based Approach to Intrusion Detection System Evaluation for Distributed Real-Time Systems ， Parallel and Distributed Processing Symposium., Proceedings International, IPDPS 2002, Abstracts and CD-ROM Volume , Issue , 2002 Page(s):93 – 100

参考文献参考文献• Tan, K. M. C. Maxion, R. A. Performance Evaluation of Anomaly-Based

Detection Mechanisms ， TECHNICAL REPORT SERIES- UNIVERSITY OF NEWCASTLE UPON TYNE COMPUTING SCIENCE 2004

• Antonatos, S.; Anagnostakis, K.G.; Performance analysis of content matching intrusion detection systems ， Applications and the Internet, 2004. Proceedings. 2004 International Symposium on Volume

• Yu, J.; Reddy, Y.V.R.; Sentil Selliah; Srinivas Kankanahalli; Sumitra Reddy; Vijayanand Bharadwaj TRINETR: An Intrusion Detection Alert Management System ， Enabling Technologies: Infrastructure for Collaborative Enterprises, 2004

• A.Cardenas, J.S. Baras. and K. Seamon A Framework for the Evaluation of Intrusion Detection Systems 2006 IEEE Symposium on Security and Privacy

• J. E. Gaffney and J. W. Ulvila. Evaluation of intrusion detectors: A decision theory approach. In Proceedings of the 2001 IEEE Symposium on Security and Privacy, pages 50-61, Oakland, CA, USA, 2001

参考文献参考文献• S. Axelsson. The base-rate fallacy and its implications for the difficulty

of intrusion detection. In Proceedings of the 6th ACMConference on Computer and Communications Security (CCS’99), pages 1-7, November 1999.

• G. Di Crescenzo, A. Ghosh, and R. Talpade. Towards a theory of intrusion detection. In ESORICS 2005, 10th European Symposium on Research in Computer Security, pages 267-286, Milan, Italy, September 12-14 2005. Lecture Notes in Computer Science 3679 Springer

• G. Gu, P. Fogla, D. Dagon, W. Lee, and B. Skoric. Measuring intrusion detection capability: An information-theoretic approach. In Proceedings of ACM Symposium on InformAtion, Computer and Communications Security (ASIACCS’06), Taipei, Taiwan, March 2006

谢谢！