DeNA品質管理部のDQM Kaigiに社外講師として登壇。完全レポートします！

この度ご縁をいただき、DeNA社が定期開催している「DQM Kaigi」という社内勉強会に初の社外講師として登壇させていただきました！！
 
 
DQM Kaigiは、3年ほど前から月に一度、DeNA社の品質管理部内で行われています。
今年からさらなる業務パフォーマンスの向上を目的に、社内チームのナレッジ共有だけでなく、社外の知見も参考にしよう！という新たな取り組みだそうです。
 
そこで、DeNA品質管理部社員の関心が非常に高かったテストの自動化に注目していただき、弊社の取り組みについてお話をさせていただくことになりました。
 
参加者は、直近一年間で最多人数の60名以上と大変多くの反響があったそうで、多くの社員の方にご関心をお寄せいただき、弊社としても光栄な機会を頂戴しました。
 

さて、今回の勉強会では、以下の4つのテーマにわけてお話をしましたので
それぞれレポートしていきます！
 

登壇者情報

片岡　辰雄（monoAI technology株式会社 QA事業部 部長）
QAの経験は約22年。テストの自動化がゲーム業界でトレンドとなった2017年頃から学習、研究を始め、自動テストを作成する。
monoAI technologyのメイン事業であるメタバース開発、運営のプロジェクトのQA、および社外のゲーム案件において、テストの自動化、AIやその他でQA支援ができるツールを使った、QA事業を行なっている。

テストの自動化とは

今回勉強会に参加された方は、QAエンジニアとして日々ご活躍されている、あるいはこれからQAに取り組む方ばかり。

まずは、「QAテストの自動化とは何なのか？」を簡単に説明した後、なぜやるのか？といった共通の目的を揃えてから勉強会がスタートしました。

片岡：我々monoAI technologyが考えるテストの自動化とは、「テストの操作を手動ではなく、プログラムを組んで自動操作を行い、無人で行うこと」として定義しています。

テストの自動化によるメリットは、大きく3つあると考えており、それぞれを簡単に説明します。

①工数削減

②作業品質向上

③検証期間短縮

1つめが、工数削減です。
テスト作業の際に発生する反復手動作業を自動化することで、単純に人的リソースを削減することができます。

2つめが、作業品質向上です。
自動化導入により、単純作業におけるヒューマンエラーを低減することができ、作業の効率化が期待できます。

3つめが、検証期間短縮です。
手動と自動作業を組み合わせることによって、24時間稼働を実現し、検証期間を大幅に短縮させることが可能になります。

テストの自動化の難問

ここでは、QAテスト自動化の導入/運用、それぞれの難問を解説しました。

片岡：QAテストの自動化には、多くのメリットがあるにもかかわらず導入段階の難問がいくつかあります。 

1つめは、「これまでのテスト/デバッグのやり方から脱却できない」という習慣性の部分です。

2つめは、「日々のテスト業務に追われ、新しいチャレンジができない」といった限られた時間のなかで新しい施策に触れる機会がないという点です。

3つめは、「そもそも自動化をする技術（プログラムを含む）ノウハウが足りていない」という大きく3つの課題があります。

片岡：次に、実際に運用をスタートした場合に躓く課題についてご紹介します。

1つめは、「自動化によって複雑なことがやれるようになったが、プログラムの作成に時間を掛け過ぎてしまい生産性を考慮できていない」という場面が多々あり、結局手動テストの方が早かった・・・なんてことも起きています。

2つめは、「自動化のプログラムをどのように設計すると結果に繋がるのかわからない」という課題です。

3つめは、「プログラム設計のナレッジをためるような運用ができず、開発終盤にならないと効率化が見込めない」という点です。

 

難問を解決したテストの自動化

ここでは、導入/運用による難問をどのように解決していくのか？といった具体的な施策を解説しました。

片岡：まずは、課題の整理です。
ここでは、資料左側に代表的なものを5つにまとめました。 

・自動化の育成プランがない

・テスト経験者でプログラム理解者の採用ができない

・自動化テストの体制がない

・結果に結びつく自動化テストのプランニングができない

・自動化スクリプトのナレッジがない

 

例えば、チーム内で自動化の育成プランがない場合の具体的な施策例だと

「プログラムに興味がある社内人材に簡単なゲームを制作していただいて学習する」ことで人材育成を推進していくなどが考えられると思います。

 

また、自動化テストの体制がない場合は、「自動化チームを結成し、検討フロー（仕組み）を入れてテストの流れを運用する」ことで解決することができます。

 

片岡：この資料は、テストの自動化を実行した際に得られる効果を検証した結果になります。

253のテストケースがありまして、これを手動で行った際に掛かった時間は、8時間25分でした。約1日の作業になりますね。

同様のテストケースを自動化を組み合わせることによって、5時間11分に短縮することができました。

内訳としては、自動化できる部分が180ケース、手動が73ケースとなっています。

作業率で言うと、39％削減することが出来ています。

 

自動化の可能性と最新の実用事例

最後に、テストの自動化とは具体的にどんな施策なのか？を、動画を交えて解説しました。

monoAIが提供しているQAサービスは、インゲームでのAI活用、OCRを活用したテキストチェックなど、様々な技術を活用し、自動化の最適化を行っており、それらを詳しく説明しました。

弊社のQAサービスについて詳しく知りたい方は、下記より資料DLが可能です👌

https://xrcloud.jp/blog/download/page/2/

 

 最後に、質疑応答のお時間を設けて勉強会は終了。

参加者のコメント

「自動化」という漠然としたものではなく、ターゲットを絞った上で行う必要があると学べました。また、テキストチェックは人の目で見ていると抜け漏れが発生するのはその通りと思いました。ここの自動化については機械的に確認するメリットを感じました。

コーディングを行うテスト自動化の動作風景が見れたのが良かったです。また、GPTを組み合わせた手法も活用方法があるという理解に繋がり参考になりました。

自動化でのアサーションを柔軟に考えるきっかけに繋がりました

過去にRPGゲームのコリジョンチェックを手動でやっていて自動化してたら…と感慨に耽っておりました。応用次第ではユーザーが編み出したものをトレースして再現させて原因究明を図るなんてこともできそうだなと感じました。（既に実施済みでしたらすみません）

なお、参加者アンケートでは、今回の勉強会の内容について、38%が「とても参考になった」、61％が「参考になった」と明るい回答をしてくださったそうで、微力ながらも実務に役立つノウハウ提供ができていたら嬉しい限りです。

 

今回の勉強会にご参加いただいた皆様が、正しい自動化のノウハウを理解いただき、効果的な運用まで検討いただけたら大変嬉しく思います！

DeNA社の皆様、貴重な機会をいただきありがとうございました。

 

monoQA：https://monoai.co.jp/monoqa

メタバース相談室：https://xrcloud.jp/blog/