Codecov導入〜１年経ったその後の話

グロービスQAチームではCodecovを導入して1年経ちました。導入によって得られた効果や、見えてきた課題についてQAチームメンバーが語ります。

はじめに

こんにちは！

QAチーム兼テックマガジン編集長の矢島（＠yajima_wataru）です。

１年ほど前に、Codecovについて紹介する記事を書いたのですが、今回はその後日談となる話です。

↓過去の導入に関する記事はこちらです。

https://note.com/globis_engineers/n/n4120033eba37?magazine_key=m4b1ab51cfc1a

１年前、QAチーム内で、ISO/IEC 25000シリーズ（SQuaRE）を元に、少しずつ定量的に品質を測定できるようになろうという風潮があり、それがCodecovの導入につながりました。 そこから、データを取っていこうという風潮は少しずつ薄れていったものの、ずっと裏で動き続けていたCodecovが貢献を果たす機会が増えてきたので、紹介します。

１年経って得た嬉しい効果

1.各プロダクトのテスト状況を多少なりとも定量的に表せるようになった。

まず、ほとんどのプロダクトでコードカバレッジを簡単に取得できるようになりました。 また、単体テストの状況が一覧化されることでプロダクト毎に単体テストが多いか少ないかを判別できるようになり、導入の過程で単体テストが全くないプロダクトの存在も明らかになりました。 現在は、各プロダクトをテストピラミッドで表したとき、どのプロダクトが手厚くテストされているのか可視化・追跡することができるようになっています。

まだ、このリスト自体はテスト活動に生かすことはできていないのですが、QA活動を行っていく上での、一つの指標として、機能していければと考えています。

2.品質に課題があると感じているチームが自主的にカバレッジを上げようという動きにつながった

グロービスの開発組織のプロダクトのリポジトリには、元々コードカバレッジを測定するツールをずっと入れてはいました。ただ、測定結果がわざわざ確認せねばならないところに存在し、「あるけど利用されない」存在となっていました。

しかし、CodecovがPRごとにコードカバレッジを見える化してくれたおかげか、品質的に課題があると感じているチームが自主的に単体テストを拡充させていく動きにつなげることができました。 結果的に、改善が進んだこのプロダクトはグロービス開発組織の1位、2位を争うほどのコードカバレッジの高さを誇っています。

もう一歩足りなかった部分

導入の目的の一つとして「テストを拡充することでビジネスへの貢献を定量的に表現できること」があったのですが、まだ達成できていません。

（こちらをまだ測定できない）理由としては以下があります。

1. 開発の生産性と紐づけられるほど、変化を捉えきれていない。

2. QAがテスト中に見つけたバグ数などを収集する仕組みがないため、計測しにくい。

3. インシデントの発生率も特に変化はない。

特に、2についてはJIRAの導入によって、少しずつ改善はされてきているもののCodecov導入以前のデータについては存在しないため、計測できていません。

おわりに

Codecovを導入して１年で自分から導入したいと言ってくれるチームや、僕自身がPull Requestを書いて導入したチームがあり、地道ながら協力者を増やしてきました。

結果的に、エンジニアさんたちに喜んで受け入れてもらうことができたので、今後もそのような環境をつくっていくためにQAが提案できそうなことを積極的に行っていきます。

グロービスのQAチームでは、一緒に働く仲間を募集しています！

グロービスの開発組織では、一緒に働けるQAエンジニア・テストエンジニアを探しています！

まずは、カジュアル面談を通して、あなたに合う組織かどうか確かめてみませんか？

https://recruiting-tech.globis.co.jp/entry/