全ケースにエビデンスって言わないで

以前、エビデンスに関する記事を書きました。

更に追加したいと言うか、その体験談も交えた話ができればと思い、追加編となります。

■エビデンス添付には2パターンある

前回の投稿でも言いましたが、ソフトウェアテストでエビデンスの添付を指示されることは多々ありますが、大体2パターンに分けられると思います。

１．不具合起票時に添付する
２．不具合の有無に関係なく、全ケースに添付する

大抵は1のパターンが多いと思いますが、自分は2のパターンも経験したことがあるので、どれだけ大変だったか、体験談を書きます。

2のパターンの経験がない方(特にお客様側やお客様とやり取りをする管理者)の参考になれば幸いです。

■ただスクショ撮ってケースに貼り付ければいいわけじゃない

その案件の簡単な流れですが、テスト実行が始まると、初日はテスト実行のみ行い、2日目以降に終業前にエビデンスをチェックする時間を取って他の実行者にチェックしてもらう形でした。
※勿論、自分は他の実行者のエビデンスをチェックする
また、本格的なエビデンス修正については実行が一通り終わってからになるため、「実行が完了した＝そのテスト実行が完了した」とならずエビデンス修正の期間を設けられていました。

但し、ケースによっては前のケースのエビデンスを流用することは出来ました。
例えば、No.1のケースで「ログイン画面が表示されること」と言うケースだったらそのケースにエビデンスを添付、No.2のケースが「ログインIDのテキストボックスが表示されていること」だったらNo.1のエビデンスがそのまま使えるから備考欄に「No.1と同画面のため省略」と記載して対応する形です。
もちろんそのテキストボックスに何らかの入力値を入力した場合は改めてエビデンス取得する必要があります。

とは言え、大抵のケースでエビデンス取得が必須のため、自然とその日の消化目標件数に関してはエビデンス取得が不具合発生時のみの場合を100％とすると大体80％前後に定められていました。
また、エビデンスチェックにも消化件数が設けられていました。

ですが、ただスクショして、スマホやタブレットでの実行の場合はPCに取り込んで各該当ケースに添付すればいいかと言うと、そう簡単ではなかったのです。

まず、実行者は人間なので、取得したエビデンスに不備がある場合が当然あります。
大抵の場合、1つのテストケースにつき複数ファイル添付になることが多かったので、撮影忘れや重複、また余計なものが映り込むことは多々ありました。

また、ファイル名も指定があるので指定されたファイル名に沿って変更する必要があります。
その際にファイル名を間違えたり、ナンバリングがズレることもよくありました。
先程の取得ファイル自体に不備があった場合、ファイル名の修正も伴うことも多かったです。

更に、OSやブラウザによっては全画面スクショと言うワザも使えますが、特にAndroidOSについては自分が関わっていた時は全画面スクショに対応していなかったため1つの画面を細切れで撮る必要があったので、全画面スクショ対応している他のOS等では数枚で終わるところであっても、AndroidOSについては数十枚に渡ることも多かったです。

更に追加するならば、その時使用していたテスト管理ツールの関係もあったのですが、ファイル単体で添付出来るのに上限があり、規定の枚数を超えた場合はZIPファイルにして添付しなくてはいけませんでした。
そのため、エビデンスチェックの際、わざわざZIPファイルをダウンロードして解凍してからやっとフォルダの中身を見れるようになる、と言うフローも発生していました。

冒頭でも記載した通り、初日はテスト実行のみでしたが、2日目以降は終業前に時間を取って他の人が取得したエビデンスのチェックを行いました。
実行が終わるまでは実行がメインのため、本格的なエビデンスの修正は実行が終わってから。
ですが、エビデンスチェックの場合も「チェック→再取得をしてもらう→再チェック(→再取得→再チェック×n)→OKだったら完了」と言うフローがありました。
また、実行管理者(その案件ではそのテストのテストケースを作成したテスト設計者が兼ねていた)がエビデンスチェック用のファイルも作成していて、エビデンスチェック時はそれを使用していました。

その案件はちょっと特殊なところがあり、機能テストであっても「このログインIDを使って、この画面ではこのように設定して〜」と細かい指示があったので、各テストのパターン最初のケースはログイン画面から該当画面に遷移するまでの画面のエビデンスも求められていました。
例えば「会員メニュー画面の表示確認」のパターンであっても会員メニュー画面だけ撮ればいいわけではなく、ログイン画面から会員メニュー画面に遷移するまでに経由する画面も全て必要だったため、数枚添付する形になりました。

かなり稀な例外ですが、実行前から不具合の影響であるテストの一部のみエビデンス取得なしでOKとなった場合もありました。

今だからぶっちゃけますけど、実行者側からすると「結構大変だった」と言うのが本音です。

■管理者とお客様・開発でもちゃんと認識合わせが必要

以上テスト実行者としての体験談でしたが、その案件自体は自分がアサインする前からあるものだったので「この場合はこんなエビデンスが必要」とある程度確立されていました。

ですが、案件によって異なるのはもちろん、特に初めてのお客様や開発とやり取りする中で「全ケースにエビデンスを添付して欲しい」となった場合、どこまで取得するのか、エビデンス取得には時間がかかるので一日の消化件数は取得しない場合と比べて少なくなることや、OSなどによっては1画面取得するのに数枚に渡る可能性があること、ファイル名の変更やエビデンスチェックや再取得の時間も必要など、伝えておかないといけないかもしれません。

特に、このケースではどの画面を撮るのかどこまで取得するのかの認識合わせはしておくべきかなと思われます。

■要は案件による

自分の経験談なので、これよりももっと大変/容易な全ケースエビデンス添付の案件はあると思います。

特に未経験の方の参考になれば。