基准驱动的高效软件度量 - ssm-ug.org什么是基准比对...
TRANSCRIPT
![Page 1: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/1.jpg)
基准驱动的高效软件度量
中国系统与软件度量用户组 CTO 王海青
2015年6月3日
![Page 2: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/2.jpg)
大纲
2 2015/6/3 Copyright 2015 by SSM User Group. All rights reserved.
软件度量面临的挑战
基准比对方法简介
关于组织级度量的几点思考
提问&讨论
![Page 3: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/3.jpg)
软件度量面临的挑战
2015/6/3 3 Copyright 2015 by SSM User Group. All rights reserved.
![Page 4: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/4.jpg)
关于软件度量的困惑
数据分析象救火
积累了大量历史数据,但决策还是靠“拍脑袋”
基础数据不可靠,数据分析结果难以信任
对数据的解读不一致
数据“明确”了当前状态,但不知如何改进
度量活动的价值难以评价
2015/6/3 4 Copyright 2015 by SSM User Group. All rights reserved.
![Page 5: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/5.jpg)
关于软件度量的困惑
度量本应让管理更简单,为何经常事与愿违?
2015/6/3 5 Copyright 2015 by SSM User Group. All rights reserved.
过程
人
技术
![Page 6: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/6.jpg)
软件度量过程
2015/6/3 6 Copyright 2015 by SSM User Group. All rights reserved.
软件度量 数据分析
为何度量
度量什么
如何度量
数据采集
商业目标
数据采集表
![Page 7: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/7.jpg)
软件度量面临的问题
2015/6/3 7 Copyright 2015 by SSM User Group. All rights reserved.
软件度量 数据分析
为何度量
度量什么
如何度量
数据采集
GQIM
SP
C
![Page 8: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/8.jpg)
一个典型的度量应用场景
故事背景 美好的前景:(引自某权威机构)在CMMI5级的组织中,产品
90%的缺陷应该通过评审活动发现;评审发现缺陷及修复成本仅为测试活动的1/5~1/10……
残酷的现实:本组织评审仅可发现不到30%的缺陷
抱怨的客户:产品开发周期长,质量不尽如人意
生气的老板:我们需要将质量活动前移!我们何时可以输出高质量的产品?
问题:如何改进?需要做哪些度量?
2015/6/3 8 Copyright 2015 by SSM User Group. All rights reserved.
![Page 9: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/9.jpg)
一个典型的度量应用场景
典型改进活动 目标:将评审活动发现缺陷占比提高到50%
活动: 成立专项改进小组
定义各阶段评审活动准出标准
加强对各评审活动的要求及数据采集,对于无法达到准出标准的项目要求重新评审
对评审及测试活动数据进行分析……
效果:6个月后,评审活动发现缺陷占比提高到53%,改进目标顺利达成,专项改进小组获得表彰……
但是,为什么度量工作得不到大家的认可? 客户、项目组、高层……
2015/6/3 9 Copyright 2015 by SSM User Group. All rights reserved.
![Page 10: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/10.jpg)
一个典型的度量应用场景
需要思考的问题 我们的质量水平如何?
正常吗?和同行比我们有多差/好?
我们当前的评审能力与测试能力如何? 绝对值与相对值?
正常还是异常?
我们的缺陷发现及修复成本如何?
如何改进? 有哪些最佳实践?
如何评价效果? 什么是缺陷?
只看缺陷发现占比足够吗?
……
2015/6/3 10 Copyright 2015 by SSM User Group. All rights reserved.
![Page 11: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/11.jpg)
基准比对方法介绍
2015/6/3 11 Copyright 2015 by SSM User Group. All rights reserved.
![Page 12: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/12.jpg)
什么是基准比对
术语定义:将目标对象(如项目或项目群)属性与基准相比较,并建立目标对象属性相应值的全部过程(摘自工信部行标《软件研发成本度量规范》)
即依据行业或本组织的基准数据及最佳实践,帮助组织了解现状、发现问题、实施改进并对未来建立预测
2015/6/3 12 Copyright 2015 by SSM User Group. All rights reserved.
![Page 13: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/13.jpg)
为何进行基准比对—基准比对的价值
2015/6/3 13 Copyright 2015 by SSM User Group. All rights reserved.
软件度量 数据分析
为何度量
度量什么
如何度量
数据采集
GQIM
SP
C
基准比对的核心价值: 找到真正的问题和“现实”的方法并全面评价改进效果
![Page 14: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/14.jpg)
为何进行基准比对—基准比对的价值
2015/6/3 14 Copyright 2015 by SSM User Group. All rights reserved.
基准
解决问题 发现最佳实践
评价效果 能力比对,模式辅助分析
发现问题 过程比对,异常预警
![Page 15: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/15.jpg)
基准比对方法示例—评价效果
2015/6/3 15 Copyright 2015 by SSM User Group. All rights reserved.
基准
解决问题 评价效果
发现问题
![Page 16: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/16.jpg)
基准比对方法示例—发现最佳实践
2015/6/3 16 Copyright 2015 by SSM User Group. All rights reserved.
基准
解决问题 评价效果
发现问题
![Page 17: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/17.jpg)
基准比对方法示例—异常预警
2015/6/3 17 Copyright 2015 by SSM User Group. All rights reserved.
基准
解决问题 评价效果
发现问题
此项目交付质量是否存在较大风险?
![Page 18: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/18.jpg)
传统的项目预测方式
基于历史数据,采用相关性分析、回归分析等统计学方法,建立预测模型
2015/6/3 18 Copyright 2015 by SSM User Group. All rights reserved.
![Page 19: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/19.jpg)
其他的方法?
毕业设计(定性仿真系统)带来的启示
2015/6/3 19 Copyright 2015 by SSM User Group. All rights reserved.
![Page 20: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/20.jpg)
基于数据的定性分析—基本步骤
定性分析模型定义 确定一组“相关”度量指标
统计数据并分析样本项目特征
项目性能模式归纳
定性分析模型应用 根据模型对项目状态、性能进行判断,并制订应对/改进措施
模式验证与优化 不断验证模型,提高模型精度或简化参数
2015/6/3 20 Copyright 2015 by SSM User Group. All rights reserved.
![Page 21: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/21.jpg)
基于数据的定性分析—示例
最简单的模型(生产率-缺陷密度) 问题:以下哪个组织的质量较好?
2015/6/3 21 Copyright 2015 by SSM User Group. All rights reserved.
P25 P50 P75 组织A 组织B 组织C 组织D生产率 3.71 7.31 12.97 2.19 1.47 16.28 19.53缺陷密度 0.12 0.35 0.73 0.06 1.31 0.87 0.08
![Page 22: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/22.jpg)
基于数据的定性分析—示例
交付质量数据分析
2015/6/3 22 Copyright 2015 by SSM User Group. All rights reserved.
组织类别 生产率 缺陷密度A 高 低B 高 高C 低 高D 低 低
![Page 23: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/23.jpg)
基于数据的定性分析—示例
最简单的模型(生产率-缺陷密度) 模式定义
结论 通常组织D质量最好
通常组织A质量最差
通常组织B和C质量居中
扩展问题 为何不直接度量交付质量?
2015/6/3 23 Copyright 2015 by SSM User Group. All rights reserved.
组织名称 生产率 缺陷密度 对应模式A 高 低 进度优先模式B 高 高 均衡模式—高效C 低 高 均衡模式—质量保证D 低 低 高品质模式
![Page 24: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/24.jpg)
基于数据的定性分析—示例
模型优化(生产率-缺陷密度-测试工作量占比)
2015/6/3 24 Copyright 2015 by SSM User Group. All rights reserved.
组织名称 生产率 缺陷密度 对应模式 补充验证(测试工作量占比)典型情况:占比偏低(或正常)异常处理:占比偏高则修正为均衡模式—高效典型情况:占比正常(或偏高)异常处理:占比偏低则修正为进度优先模式典型情况:占比偏高(或正常)异常处理:占比偏低则修正为进度优先模式典型情况:占比正常(或偏低)异常处理:占比偏高则修正为均衡模式—质量保证
A
B
C
D
高
高
低
低 低
进度优先模式
均衡模式—高效
均衡模式—质量保证
高品质模式
低
高
高
![Page 25: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/25.jpg)
关于组织级度量的几点思考
2015/6/3 25 Copyright 2015 by SSM User Group. All rights reserved.
![Page 26: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/26.jpg)
关于组织级度量的几点思考
体系搭建 系统思维—如何双赢?
关注价值—建立应用的闭环
度量实施 关注细节—示例:如何最小化度量对度量的影响?
平衡—要“科学”还是“可用”?
度量改进 突破思维定式—示例:关于数据质量的思考
度量的成败关键往往在度量之外!
2015/6/3 26 Copyright 2015 by SSM User Group. All rights reserved.
![Page 27: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/27.jpg)
提问&讨论
27 2015/6/3 Copyright 2015 by SSM User Group. All rights reserved.
![Page 28: 基准驱动的高效软件度量 - ssm-ug.org什么是基准比对 术语定义:将目标对象(如目或目群)属性与基准相 较,并建立目标对象属性相应值的全部过](https://reader030.vdocuments.mx/reader030/viewer/2022040100/5e410a969e687058e173d7f2/html5/thumbnails/28.jpg)
基准驱动的高效软件度量