"JaSST'24 Tokyo"で得た知見を活かし、IVRyの品質向上へ
こんにちは、電話DX SaaS IVRy(アイブリー)のQAエンジニアの関です。
今年も"JaSST'24 Tokyo"に参加しました。
昨年は、オンラインで参加しましたが、今年はオフラインで参加してきました。
今回は"JaSST'24 Tokyo"で体験したこと、学んだこと、そしてIVRyでの今後の取り組みについてまとめてみました。
"JaSST'24 Tokyo"とは？
"JaSST'24 Tokyo"は、NPO法人ASTER（ソフトウェアテスト技術振興協会）が主催する、日本国内で最大規模を誇るソフトウェアテストに関するシンポジウムです。このイベントでは、ソフトウェアテストの技術や手法、最新の動向や課題について、業界の専門家や関心を持つ人々が一堂に会し、情報交換や知識の共有を行うための場となっています。
年に一度、東京で開催されており、今年は、20周年という節目でもあり「Keep legacy、welcome change」というテーマが設けられていました。
今回のJaSST'24 Tokyoでは、様々なトークセッションが行われましたが、その中でも特に自動化、AI、採用に関するセッションが印象的でした。以下では、それらのセッションについて詳しく紹介していきます。
学びが多かったトークセッション
中でも下記のカテゴリに焦点を当ててセッションに参加しました。
・自動化
・AI
・採用
特に印象に残ったセッションをここで紹介していきます。
① qa不在のスクラムチームは品質向上の夢を見るか
谷尾 虎之介（ダイキン工業）さん
森鳰 武史（ダイキン工業）さん
IVRyでは、"脱・最後の砦'を目指しています。リリース後のバグは、QA担当者の責任と自覚しQAを実施する事としてアプローチをしていましたが、サービスの成長や開発メンバーの増員に伴い、継続的に実行するのが難しくなりました。また、QAだけが品質について考えるのはなく、開発チーム全体で品質を高めていく方が効果的であると考えるようになりました。
そんな中で、ダイキンさんのセッションでは、QAが不在である状況下でどのようなアプローチをとっているのかを学ぶことができました。
ダイキンさんは、QC(Quality Controller)という役割を設けて、ある開発者が品質面でチームをリードしていると聞きました。
そこには、勉強会の実施やチームの品質理解に責任を持つこと、品質計画の指導を行うというものでした。また、品質活動をPBIとして同様に扱っているという点も参考になるアプローチだなと感じました！
② AI搭載プロダクトの品質保証の現在地点とこれから
石川 冬樹（国立情報学研究所）さん
末村 拓也（Autify）さん
中村 龍矢（LayerX）さん
松浦 隼人（Autify）さん
このセッションでは、AIを搭載したプロダクトの品質をどのように評価するかについて議論が交わされていました。特に、大規模言語モデル（LLM）を用いた品質テストについて、いくつか話題がありました。
セッションを聞きながら、IVRyでAIを使用している部分で、どのようにアプローチできるかを考えました。現時点で優先度は高くないものの、近いうちに、音声認識や要約の精度を高めていくことも必要になってくるだろうとも思いましたし、とても面白い分野だと感じました。
③ スタートアップのQA採用戦略
大平 祐介（ログラス）さん
以前からログラスさんは、採用に真摯に取り組んでいる印象を持っていたため、このセッションには強い興味を持って参加しました。
参加して分かったことは、QAエンジニアとしての役割と組織内の立ち位置を明確にしている定義しているということです。また、テックバリューを設けており、その中でQAエンジニアの必要性を説明していたのがとても印象的でした。
加えて、採用プロセスや採用パイプラインにおけるアプローチ方法にも紹介がありました。短期、中期、長期でアプローチを考えており、各媒体を使い分けているなどとても学びになりました。また、どのようなメンバーが必要かを明確にすることや、JDだけではなくMVVなどを通して、各媒体の担当者とイメージを膨らまして進めていくと伺いました。
④ UIからの自動テスト事例2選
浅黄 友隆（ヒューマンクレスト）さん
IVRyでは、UIテストにDatadogのSyntheticを利用しています。しかし、少しでもスタイルが変更されるとシナリオが実行されず、テストが失敗することや、シナリオを実行すると環境によってテストが失敗することがあり、メンテナンスコストがかかってしまうという課題がありました。
この課題に対して、良い解決策が見つからないという状況でした。
セッションの中で紹介されていたように、指定するXPathの抽象度を高くすることで、少しのスタイル変更への影響が減ったり、そもそも不安定さの原因を特定し、別のアプローチが可能か検討することが有効だと説明されていました。また、テストのリファクタリングを継続的に実施すると聞き、目的や価値を再構築するアプローチを行なっていこうと思いました。
交流会やDrinkupで感じたこと
初日の夜に情報交換会へ、最終日の終わりには、RIZAPさんが提供してくれたDrinkupへ参加しました。これらの場では、参加者の方と気軽に情報交換を行うことができ、異なる業界や分野でQAしている人たちがどのような課題を持って、どうアプローチしているのかを知る貴重な機会となりました。
また、実際に顔を合わせて話をすることで、品質への情熱や取り組んでいる領域をより深く理解できました。
得た知見をどうやってIVRyに還元させるか
IVRyでは、QAの脱・最後の砦が進んでいます。前回の記事でも触れましたが、QAだけではなく、開発チーム全体で品質を向上させる取り組みが日々実施されています。また、メンバーも増えリリース頻度も週一から毎日リリースへと変化しました。こうした中で、個人的には自動化とチームでの品質向上が重要になってくると考えています。
今回参加したセッションでは、QAチームを作らずに開発チームで品質を向上させている事例が紹介されました。品質について議論する場を設け、自分たちが届けたい品質を考えることで、自然と品質意識を高める仕組みを取り入れています。この取り組みは、IVRyでも参考にできる点が多いと感じました。
また、IVRyでは音声認識や要約などのAIを活用したプロダクトの品質向上にも取り組みたいと考えています。例えば、要約機能では実際の通話データを文字起こしし、大規模言語モデル（LLM）を用いて要約させていますが、使用しているモデルのバージョンアップに伴い、出力結果が変わってしまうことがあります。これを回避するために、日々利用される実際のデータから利用のユースケース・データを活用しより品質の高いQAが行えるように、QAのテスト項目や手法をアップデートしていく必要があると感じました。
自動テストについては、"JaSST'24 Tokyo"に参加後から、現状の自動テストをブラッシュアップし、改善サイクルを回すための取り組みを行っています。具体的には、管理カンバンを作成し、週に1回の改善時間を設けることで、継続的な自動テストの改善を目指しています。
まとめ
JaSST'Tokyo24に参加したことで、新しい知識を得るだけでなく、情報交換会での新たな気づきや交流の機会を経験しました。この経験を活かしIVRyでは、最新の技術や知見を継続的に取り入れて、品質の向上を目指していきます。
IVRyへの還元とは別に、個人的に面白かったのはトヨタさんのトークセッションでした。数値化して定量評価を元に意思決定を行なっていることや、やれることは抜け漏れなく徹底して行なっていると聞き、品質管理を行うという強い姿勢を感じました！
また、バグが発生した際にどのレイヤーで起きてるのか、その原因は接続部分にあるのかを仮説を立ててアプローチしていると聞き、自分にも取り入れられそうな手法だと感じ、ぜひ実践してみたいと思いました！
今後も新たな知見を取り入れ、IVRyの更なるレベルアップを目指していきたいと思います！
最後になりますが、IVRyではメンバーを募集しています！特に自動化やAI関連のQAを積極的に取り組んでいきたく、ご興味ある方は、ぜひ応募ください！
この記事が気に入ったらサポートをしてみませんか？