ソフトウェアテストを外部組織にソフトウェアテストを外部組織にお願いするときに満たして欲しい水お願いするときに満たして欲しい水

準準@snsk

11/06/2009

2

目次

1. テスト設計品質水準

2. テスト実装品質水準

3. テスト実行品質水準

4. 不具合レポート品質水準

3

テスト設計品質水準

網羅性と高検出率を出来るだけ少ないテストケース数で確保する事を基本方針とする• 優先度は 網羅性 >>高検出率 >省テスト• 網羅性は テストタイプ毎に設定された観点に基づく

• 仕様ベースなら仕様記述の網羅、パフォーマンスなら効率性観点の網羅

要件の内容を正確に把握し、テスト可能性の観点から曖昧な点が無い状態である事

実装 /実行フェーズに向けた自動化案 /業務効率化案が考慮されている事

機能要求についてはトレーサビリティが確保されている事 非機能要求の特に効率性については具体的な計測機構が想定できている事

4

テスト実装品質水準

フレームワークに確実に準拠している事 設計に沿った妥当なテストケース＆コンテンツである事

• 設計とトレーサビリティが取れるようなプロセスが望ましい

テストケースはそれぞれ何を確認しているのか明白である事 テストケースの手順が明確である事 ( 最短 且つ 誤解を与えない記載 )

テストケースの期待動作が明確である事 テストケースは原則として 1件で 1つの確認である事 テストコンテンツはテストアイテムの環境に極力依存しない事

テストコンテンツのコードは必要最小限である事テスト対象外のテストケースには必ず対象外理由がある事

5

テスト実行品質水準

テスト実行ルールが一貫して守られていること• 結果判定のポリシー• コメントの記入• 保留 /SKIPの扱い

FAILであればインシデントレポートを起票すること• 原則として PASS以外の結果には必ずコメントを残すこと

テストが完了したら結果をサマライズし、総体的にどのような結果に終わったのかを端的に報告すること (リーダー )

試験手順や期待動作、コンテンツの不備などがあれば逐次報告を行う事 (修正方針など同時に出せると望ましい )

広大な範囲がブロックされる、またはプロジェクトのスコープ達成に直接影響を及ぼすような不具合が発見された場合は即時報告を行う事

6

インシデントレポート品質水準

何が問題なのか明確である事• ex:「正しく動作しない」は何が正しいのか不明なので NG• 要約は「何をどうするとどうなってその何がどう悪いのか」を端的に記載する。長くなってもかまわない

再現手順が最短、確実、明確である事 期待動作の根拠が示されている事

• クラッシュ、フリーズなど明らかなものを除く 旧バージョン、他類似製品での再現性など原因特定に役立つ情報を記載する事• 旧バージョンは明らかな不具合のとき、他ブラウザ再現性は仕様変更を検討する際に有用

現象が再現する限り最も小さい形まで絞り込んだ再現コンテンツを用意する事• これを作る過程で得られた原因特定に役立つ情報を記載する事

描画系不具合の場合、レポートにはスクリーンショットを添付する事