QA組織における定量的な目標設定と評価軸の設定
アルプのQAエンジニアをしている nametake です。
最初のうちは明らかにボトルネックになっている部分の解消に集中していま
したが、それらが一旦落ち着くと、解消の過程で見えてきた細かい課題を解消する必要が出ています。
それらはどれもやることに意味はありそうではあるのですが、一方で人手は有限です。
また、どれが有効かを考えようとしても、QAの業務は幅が広くどの視点に立つかによって優先順位は変わってきてしまいます。
また、会社内で動くにあたって定量的に行動を評価する必要もありました。
そこで、まずは次の期の目標を定めてそれを基準に評価軸も考えてみました。
今回はその目標設定と評価軸について書いていこうと思います。
目標と評価の設定
アルプでは品質そのものは全社的に責任を持つものという考えの元、QAチームはQAプロセスに責任を持つという役割が設定されています。
そのため、QAの目標設定は単純なバグの数等を数値目標にしてしまうとそれを達成することが目的になってしまい、プロダクトの品質向上という本来の目的を見失い兼ねません。
しかし、具体的な数値になっていないと計測もできないため評価が難しいです。
そこで、アルプのQAチームでは目標と評価を分けて以下のように設定しました。
目標 : Staging以降の環境で顧客やCSから指摘される不具合・要件漏れを月3件以内に収める
評価 : 目標を達成するために実施したアクションを評価する
目標の「Staging以降の環境で」というのは、以下のスライドのページにおけ
るStagingとProductionでの環境を指します。
Staging以降で指摘される不具合や要件漏れが少なくなったということは、開発チームが受け入れテストまでのQAプロセスでそれらを事前に発見・対応できているといえます。
そのため、不具合や要件漏れの指摘の数が減っていればプロセスが完全できている、ということでそれをQAチームの目標として設定しました。
件数は設定していますが、これは超えているとプロセスに課題があるかもしれないというベースラインとして設定しているだけで、必達の意味合いは持たせていません。
一方で、目標と評価は連動させないようにしました。
上記の意図を持った目標に対してどういったアクションができるか、そしてそのアクションがどれだけ達成できたかという形でQAチームの評価とすることにしています。
こうすることで、それぞれの課題に対して目標に対してどれだけインパクトがあるか、そしてそのアクションは何かということを分離して考えられるようになり、課題が出てきたときにもそれらを基準にして優先順位をつけられるようになりました。
また、具体的な数値目標が決まったことで、課題に対応するだけではなく、目標を達成するための能動的なアクションも取りやすくなりました。
目標の計測方法
せっかく定量指標を設定しても計測が難しければ形骸化してします、なので気軽に計測できるような仕組みづくりもやりました。
アルプではZapierを使い倒しているので、QAチームでも活用させてもらうことにしました。
Staging以降の環境で顧客やCSから指摘される不具合・要件漏れを集めたかったため、Slackに投稿される不具合報告や要件漏れの指摘に「QA報告」という絵文字をつけてもらい、それをスプレッドシートに転記するような仕組みをZapierで作りました。
下記のように絵文字をつけるとスプレッドシートにその内容が転記されるようになっています。
スプレッドシートの「環境」より右側の項目は気づいたタイミング、もしくは毎週の定例会で振り返りで手動でつけるようにしています。
こうすることで、目標の数値として使用するだけではなく、分類や影響度、発生環境を整理することで、どこのQAプロセスに課題があるのかを定量的に計測できるようにしています。
絵文字をつけるという簡単なアクションだけで集計できるため、報告者の負担も少なく済み、かつ既存の不具合対応のフローにも気軽に乗せられるため、今までは不具合になるまで上がらなかったような情報も集計できるようになりました。
また、定例で確認をすることで、POやCTOと全体を俯瞰して開発プロセスの改善について考えられるようにもなりました。
アルプでは
ここまでアルプでのQAチームの目標設定の話をしてきましたが、これはQAチームが動きやすくするために設定した短期的なものに過ぎません。
QAチームも会社も今は拡大フェーズのため、この記事で書いた目標設定や評価設定もどんどん変化していきます。
そういった部分にこれから対応し続ける必要がありますが、アルプではそういった取り組みを一緒にやってくれる方を絶賛募集中です。
この記事を読んでアルプに興味がでた方は、ぜひお気軽にお声がけください。
この記事が気に入ったらサポートをしてみませんか？