チームで楽しくバグを探す！ 「Bug bash」のやり方とツールを公開します😳
はじめまして、ラーメン大好き四元です。給与計算領域のCS（カスタマーサポート）の責任者をしています。
2020年3月31日に、従業員の社会保険手続きを簡単にする「マネーフォワード クラウド社会保険」がリリースされました！🎉
新サービスのリリースはめでたいのですが、リリース後にバグが発覚してしまうこともあります。バグにより皆様の業務を止めてしまうことはできる限り避けなくてはなりませんし、重大なバグは会社としての信用も失ってしまいます。
そこで、少しでも開発の助力になればという想いで「Bug bash（バグバッシュ）」というバグ発見イベントを開催しました。
Bug bashについて🐛
1. Bug bashってなんだろう？
Bug bash（バグバッシュ）とは、開発者、テスター、ビジネスメンバーなど様々な職種のメンバーで製品を実際にさわり、あらゆる方法で機能を試し、おかしな挙動（バグ）を探すイベントです。短時間に数多くのパターンでサービスが利用されるため、バグを比較的迅速に発見できます。
バグ探しパートの後には、全員を労い懇親会を行います。参加者が発見したバグには点数が付けられ、「最も印象に残ったバグを見つけた人」や「最も多くバグを見つけた人」などを表彰します。
2.CSでBug bashを開催する理由
一つ目の理由は、CSが当社で最も多彩なバックグラウンドを持つ人たちが集まっている部署だからです。マネーフォワードのCS担当には、元プログラマー、会計事務所出身、法人経理担当出身、地方公共団体出身など、多様なメンバーが在籍しています。
そのメンバーがそれぞれの観点で、計算内容や出力される書類が制度上正しいかどうか、誤ってはいないか、というチェックを行うのです。セキュリティやシステムのバグは比較的エンジニアが見つけやすいですが、「制度に適合しているか」という観点は、実務に詳しいCSメンバーが得意とするところです。
もう一つの理由は、ユーザー対応を日頃行っているCSメンバーは、ユーザーがやりがちな操作をよく知っているという点もあります。どれだけ綿密にチェックしても、ユーザーは想定を超えた操作を行います。そこで、ユーザーの気持ちになりきって操作し想定外のバグまで探し出すのです。
3.辛く苦しいバグ取りをエンタメにしよう！
もちろん、バグは歓迎されるものではありません。ソフトウェアにはバグが無いことが求められ、あるかどうかわからないものを探す検証作業は辛く苦しい作業になりがちです。
しかし見方を変えれば、バグを探し見つけることに、宝探しのような楽しさを作り出すこともできます。Bug bashは、バグを点数という概念に変え、みんなで楽しむことでモチベーションを高める工夫をしています。
ピザやお酒を用意し、みんなで楽しい時間を共有しながらバグも見つけ出せる。最高のシステムですね！
Bug bashの手順✍
Bug bash開催にあたり、下記を準備しました。
この中の「ルール」「バグ報告フォーム・シート」は、記事の最後で皆さんが使えるテンプレートの形にして公開しています！ぜひ活用してみてくださいね😊
1. ルール💁♂️
バグの内容に応じて点数を付けるルールが必要です。これは、マネーフォワードで以前開催されたBug bashのルールをほぼそのまま使用しました。
CISO室・セキュリティ担当の木村さんが開催した際のレポートはこちら👇
2.バグ報告フォーム・シート📝
バグを報告するGoogleフォームと、それを集約するGoogleスプレッドシートが必要です。スプレッドシート上ではリアルタイムに開発者が点数を付けていきます。
（このようなフォームを用意して……）
（送信されたバグの内容をみて、採点者が採点内容を記入していきます）
3.タイムスケジュール⏳
Bug bashのスケジュールは、説明パート・バグ探しパート・パーティーパートの3つに分かれています。用意した時間に合わせてタイムスケジュールを設定してください。バグ探しパートをあまり長くしすぎるとだれてしまうので、ちょっと足りないくらいがちょうど良いと思います。
4.採点者👨🏫
採点はサービス開発者にお願いする必要があります。
5.賞品💰
今回は、スターバックスギフト券1,000円を各賞1点ずつに用意しました。
6.食べ物・お酒🍕🍺
パーティー用にピザやお寿司とスナック、お酒を用意しました。
「クラウド社会保険 Bug bash」の様子をチラ見せ👀
マネーフォワード クラウド社会保険のBug bashについては、当初は単発での開催予定でしたが、初回終了後「またやりたい」「もう一回！」という声が開発・CS両方から上がったため、合計三回開催しました。
タイムスケジュールは、サポート窓口が終了する18時半以降に手の空いた人からバグ探しを開始。20時には締め切りパーティ会場に移動。はじめに乾杯し、20時半から結果発表＆表彰という流れでした。
毎回、夜遅くにも関わらずたくさんのメンバーと他部署の希望者が参加し、結果が発表される度にみんなで盛り上がりました。
こちらは第三回の受賞者発表＆パーティーの様子です！（画像の一部を加工しております）
（みんなで乾杯！今回はCSに加えて、営業やマーケメンバーも参加）
（参加者で採点を見守ります👀）
（最高得点を獲得し表彰されたメンバー、楽しそうなのが印象的でした）
（「最も印象的なバグ」を発見したメンバーは、どう見つけたのかコメントしていました）
開催時のポイント👆
開催を通じて気づいたことがいくつかあります。
1.開催時間⏰
開催時間、特にバグ探しのパートをどれくらい取るかは重要です。バグ探しに長く時間をとれば複雑な環境を構築したうえでの検証ができますが、長すぎるとモチベーションが低下してしまいます。長くても半日くらいまでが適切だと感じました。
また、黙々と独りで検証するバグ探しパートと盛り上がるパーティーパートは明確に分けることをおすすめします。一生懸命バグ探しした後は、パーティーで思いっきり盛り上がりましょう！
2.採点方法✍
採点者は、短時間でバグの再現と採点をしなければならないためかなり大変です。再現担当と採点者を分ける、採点者を複数人用意するなど、採点プロセスを工夫するとさらに良いでしょう。
また、重点的にバグ探しをしたい機能がある場合には、その範囲のバグは得点が1.5倍になるなど、得点の計算式に変更を加えるのも有効です。
ちなみに、全員で全体を探すのではなくバグ探しをする機能で担当を分ける方法も試してみましたが、うまくワークしませんでした。不公平感も出るため、あまりおすすめしません。
3. 表彰時の盛り上げ👏🎉
受賞者の発表＆表彰はBug bashのハイライトです。担当者の手腕が問われます。できれば、採点者の方に受賞者の発表と講評をお願いしましょう。とても盛り上がります！
また、賞品についても担当者のセンスが問われます。高額なものでなくても差し支えありませんが、参加者層にあわせて適切な賞品を選んでください。
まとめ
Bug bashについて、開催の流れとポイントをまとめてみました。ぜひ、あなたの会社でも開催してみてください。感想もお待ちしています！
■ちょっとだけ宣伝です！
このBug bashは、先日リリースされた社会保険手続きを簡単にするサービス「マネーフォワード クラウド社会保険」の検証を目的として開催されました。
このサービスは、2020年4月に義務化された社会保険書類の電子申請にあわせリリースされました。義務化というと「面倒なことが増えて大変！」というイメージが先行してしまいがちですが、このサービスを使えば紙の資料を毎回提出する現行の手順より、簡単かつ効率的に手続きを行うことができます。興味を持たれた方は、下記のリンクをご覧ください！
【保存版】Bug bashのテンプレート公開！🍺
紹介したBug bashで利用した「ルール」「採点シート」を下記に公開いたします。
【引用について】
ルール内「7.バグを認定しないもの」の引用元BugBounty.jpを運営する株式会社スプラウト様には、引用に関してご承諾いただいております。参考記事はこちらです。
【注意事項】
この「Bug bashルール」および「Bug bash採点シート」は当社で行われたイベントでのルールを共有するものであり、本ルールの利用に関して損害又は紛争等が生じたとしても、株式会社マネーフォワードは一切の責任を負いません。
この記事が気に入ったらサポートをしてみませんか？