スプシを止めてテスト管理ツール使ってみた感想
こんにちは。Azukaritai の村穂です。
最近、テスト管理ツールに手を出しました。
今回の記事では、テスト管理ツールの導入までに至った経緯と、導入前後の変化、現状の想いについて綴っていこうと思います。
テストケースの管理がしづら過ぎる！！！
これはスプレットシートを使ってテストケースを管理していた時のテンションです。
V字モデルの最終工程で行うテストのテストケースの管理にはスプレットシートでも問題はなかったのですが、アジャイル開発で取り組むテストケースの管理となるとスプレットシートは非常に使いづらかったです。
使いづらいと感じた背景は以下になります。
多様な追加機能に応じて作られる多様なテストケースを、レベルや種類ごとに分類して管理しようとした時、シートやスプレットシート自体を複数運用しなくてはならず、それらの運用ルール作りや順守にコストがかかる
機能改修に応じてテストケースの改修を行う際、テストケースが多すぎて改修対象のテストケースを探すのに時間がかかる
自動化状況も含め、テストケースのステートのバリエーションが豊富で、度々更新する機会が発生するが、ここでもやはりテストケースが多すぎてステート更新対象のテストケースを探すのに時間がかかる
Sprint 毎に、作られたテストケース数や消化できたテストケース数やテストの実施結果を分析して、次のテスト活動を改善していきたいと考えていたが、スプレットシートでそれらをやろうとすると膨大なシートの作成とバージョン管理が必要になり、通常の QA 業務と並行して取り組むのが大変だった
テスト管理ツール高い！！
これはテスト管理ツールの導入を検討し、各テスト管理ツールの料金を調べていた時のテンションです。
どれも大体1ユーザ月30＄くらいで、安くはありません。
テスト管理ツールが無くてもテストは行えるし、テストケースを管理しやすくなることで、テストケースを管理しやすくなる以上のどんなメリットがあるのかはっきりとイメージできなかったため、結局スプレットシートをうまく使おうという気持ちになってしまいました。
試用もしましたが、実際に案件の中で使ってみないと「便利！」というところまで行かず、かといって案件で試そうにも、試用期間が終わって使えなったときのことを考えると乗り気になりませんでした。
Qase 良さそうじゃん！！
とあるイベントで、他社さんが Qase という聞き馴染みのないテスト管理ツールを使っていることを知り、調べてみると、なんだか使いやすそうな UI が目に入り、しかも 3 ユーザまでなら無料で利用できるようで（試用とかではなく）、これは試しやすそう！！と思い、スプレットシートでテストケースを管理するのが大変だったアジャイル開発の案件に Qase を導入してみました。
Qase いいじゃん！！テスト管理ツールやっぱ便利！！
Qase を導入した案件は僕を含めて3人の QA がおり、とりあえずこの3人で Qase を使ってみることにしました。
Qase について軽く説明すると、Qase にはプロジェクトを複数登録でき、それぞれのプロジェクトでテストケースが作れます。さらにテストケースを束ねることができるテストスイートが作れます（テストスイートの中にテストスイートをつくることも可能です）。またテストプランというテストケースやテストスイートを束ねることができる機能があり、テストランという、テストケースやテストスイートを選択後、それらの実行ステートを管理できる機能があります。
テストケースには手順やテストレベルや自動化状況など、様々な情報を付与できます。独自に作成したタグも付与できます。
テストスイートの作成やテストランの運用ついては、Qase 運用開始前にザックリしたルールを設けて、QA メンバーが異なる観点のテストスイートを作成しまくってテストケースやテストスイートが散らかってしまうのを防ぐなどの工夫をしていました。結果、そういったルールと使いやすい UI のおかげで、3人とも早い段階で Qase を案件の中で活用できるようになり、またスプレットシートの時よりもはるかに心地のよいテスト活動体験を得ることが出来ました。
良いなと思った点は以下です
動作が重くない。サクサク動く
テスト結果を気軽に登録でき全体の進捗状況も一目でわかるのでテストを進めるのが楽しくなる
テストケースに様々な情報を付与できるので、ニーズに応じて必要なテストケースを参照しやすい（個人的にこれが一番うれしい）
現状はイマイチと感じる点はありません。
Qase の無料版は、 3 ユーザまでしか使えないなどの制限があるので、例えば Qase で作成したテストケースを開発メンバーに共有できない（テストケースを CSV 出力して共有することができますが…）のが今の困りごとですが、これは課金で解決します。
さぁ、課金する？
無料版でも十分に機能していますが、3人以外の QA メンバーも案件で活用してもらいたかったり、開発メンバーがテストケースの情報に気軽にアクセスできない状態もイマイチなので、課金して解決したいと思っています。
課金するとなった場合、プランはおそらくスタートアップです（このプランで利用できるユーザ上限数の 20 人で、QA と開発メンバーへのアクセス権が十分確保できそうだからです）。
仮に20人フルで利用したとすると、年間4800ドルかかります。日本円にすると、大体60万くらいでしょうか(2023年4月時点)。
が、よく見てみると Qase は View オンリーユーザは課金の対象とならないようでした。なんと。20人フルで利用する想定でしたが、20人分も費用がかからないかもしれません。
Azukaritai は上記も考慮し、Qase をどのように活用するかを整理したのちに、導入の最終的な判断をしたいと思います。
進展あり次第、また記事にしたいと思います！