TM-2.6.1 (K2)一般的なテスト関連のメトリクスを説明し比較する。

テストメトリクスのカテゴリ

テストメトリクスは、次の1つ以上のカテゴリに分類される。
* プロジェクトメトリクス。実行済み、合格、不合格のそれぞれのテストケースの割合など、確立しているプロジェクト終了基準に対する進捗を測定する。
* プロダクトメトリクス。テスト範囲、欠陥密度など、プロダクトのいくつかの属性について測定する。
* プロセスメトリクス。テストで検出された欠陥の割合など、テストプロセスまたは開発プロセスの能力を測定する。
* 人的メトリクス。指定されたスケジュールでのテストケースの実施など、個人またはグループの能力を測定する。

人的メトリクスの注意事項

人的メトリクスは、特に慎重に扱うべきである。

マネージャが本来はプロセスメトリクスであるメトリクスを人的メトリクスとして誤り、担当者がメトリクスを自分に有利となるように解釈して、破滅的な結果となることがある。

プロダクトリスクに関連するメトリクス

* テストに合格することによって完全に対応されたリスクの割合
* 一部またはすべてのテストが不合格となるリスクの割合
* テストが完了していないリスクの割合
* リスクカテゴリで分類されたリスクのうち、対応されたリスクの割合
* 最初の品質リスク分析後に識別したリスクの割合

欠陥に関連するメトリクス

* レポート済みの(検出された)総数と解決済みの(修正された)総数の比
* 平均故障間隔(MTBF)または故障率
* 次のように分類した、欠陥の数または割合:
o 特定のテストアイテムまたはコンポーネント
o 根本原因
o 欠陥の起源(たとえば、要求仕様、新しいフィーチャ、リグレッションなど)
o テストリリース
o 混入/検出/除去されたフェーズ
o 優先度/重要度
o 拒否されたレポートまたは重複レポート
* 欠陥のレポートから解決に至るまでのタイムラグの傾向
* 新たな欠陥(daughter bug とも呼ばれる)を発生させた欠陥修正の数

テストに関連するメトリクス

* 計画、仕様化(実装)、実行、合格、不合格、ブロック、スキップしたテストの総数
* 回帰テストおよび確認テストのステータス(不合格となった回帰テストおよび確認テストの傾向および総数を含む)
* 計画している1日当たりのテスト時間と実際のテスト時間との比
* テスト環境の可用性(計画されたテスト時間のうち、テストチームがテスト環境を使用できる時間の割合)

テストカバレッジに関連するメトリクス

* 要件および設計要素のカバレッジ
* リスクのカバレッジ
* 環境/構成のカバレッジ
* コードカバレッジ

テスト計画をモニタリングし、活動をコントロールするためのメトリクス

* リスク、要件、および他のテストベース要素のカバレッジ
* 欠陥検出
* テストウェアの開発とテストケースの実行に関する計画時間と実時間

テスト分析活動をモニタリングするためのメトリクス

* 識別されたテスト条件の数
* テスト分析時に検出した欠陥の数(たとえば、テストベースを使用してリスクまたは他のテスト条件を識別することにより検出した数など)

テスト設計活動をモニタリングするためのメトリクス

* テストケースによりテスト条件を網羅している割合
* テスト設計時に検出した欠陥の数(たとえば、テストベースに対するテストを開発する際に検出した数など)

テスト実装活動をモニタリングするためのメトリクス

* 構築済みのテスト環境の割合
* ロードしたテストデータレコードの割合
* 自動化したテストケースの割合

テスト実行活動をモニタリングするためのメトリクス

* 計画したテストケースで、実行、合格、および不合格となったテストケースの割合
* 実行、または合格したテストケースにより網羅したテスト条件の割合
* レポート、または解決した欠陥の計画数と実際の数
* 達成したカバレッジの計画と実際の比

テストの進捗および完了の活動をモニタリングするためのメトリクス

* 計画したテスト条件、テストケースもしくはテスト仕様の数、結果を合格・不合格ごとに分類した数
* 発生した欠陥の総数を、重要度、優先度、現在の状態、影響を受けたサブシステム、または他の方法で分類した数
* 変更の発生数、受け入れ数、ビルドした数、テスト済みの数
* 計画上のコストと実際のコストとの比
* 計画上の期間と実際の期間との比
* テストのマイルストンのために計画した日数と実際に要した日数
* テスト関連のプロジェクトマイルストン(たとえばコードフリーズなど)のために計画した日数と実際に要した日数
* プロダクト(品質)リスクのステータス、軽減したものと軽減していないものの比、主なリスク領域、テスト分析後に検出された新しいリスクなど
* 進捗を妨げたイベントまたは計画された変更により無駄になったテスト活動、コスト、または時間の割合
* 確認テストと回帰テストのステータス

テスト終了活動をモニタリングするためのメトリクス

* テスト実行中に実施したテストケース、合格したテストケース、不合格となったテストケース、ブロックしたテストケース、およびスキップしたテストケースの割合
* 再利用可能なテストケースとしてリポジトリにチェックインしたテストケースの割合
* 自動化したテストケースと自動化予定のテストケースの割合
* 回帰テストに統合したテストケースの割合
* 解決済みの欠陥レポートおよび未解決の欠陥レポートの割合
* テスト成果物として識別し、保管したものの割合

問題