シンポジウム初参加！JaSST'22 Kansai イベント参加レポート
はじめに
こんにちは。SHIFTでアジャイルQAをやっている小波津です。
先日、JaSST というイベントに参加してきました！
こういう社外イベントに参加するのは初めてで、それまで、参加はハードル高いと感じていましたが、新しい発見や自分を振り返るきっかけもあったので、今後も積極的に参加したくなりました。
もし同じようにハードル高く感じてる方がいれば参考になるかと思います！
今回参加したのは2022年6月25日(土)に開催された JaSST'22 Kansai というシンポジウムで、テーマは「テストオラクルのない世界」でした。
JaSSTとは？テストオラクルとは？というところも含めて今回のイベントの概要を紹介し、自分の感想も述べたいと思いますので、よかったら最後までお読みください。
JaSSTとは
JaSSTとは、Japan Symposium on Software Testing の略で、日本各地で開催されるソフトウェアテストのシンポジウムです。最近ではオンラインと現地で併用して開催しており、実際に私も都内に住みながら JaSST Kansai に参加することが出来ました。今後も各地で開催されていきますので、興味ある方はぜひホームページを覗いてみてください。
各イベントでは特定のテーマに沿って、その道の専門家などの講義やいろんな企業における事例などが紹介されています。
今回参加した JaSST'22 Kansai では「テストオラクルのない世界」がテーマでした。
「テストオラクルのない世界」とは
テストオラクルとはソフトウェアの実行結果と比較する期待値結果、を指す言葉です。 つまり何かというと、ソフトウェアテストをする際のテストケースに書く、仕様に沿った期待値のことです。
今回テーマになった「テストオラクルのない世界」とは、現在ではAI/機械学習のテストにおいては、その期待値結果が変化してくるため、名言できるものがない、正解がわからない、といった世界のことを指します。
AI/機械学習以外にも人間の感覚・感性を測る、UX評価なども含まれます。
このイベントではそういった世界でどうやってテストに取り組んでいくのかについて触れていきました。セッションがすべてで7つありましたが、それについてはホームページの方をご参照ください。
本ブログではいくつかのセッションについて触れていきます。
セッション1 基調講演 「正解がないシステムをテストする」
講演者：石川冬樹（国立情報学研研究所）
このセッションでは講演者の方が実際に企業と取り組んだ事例を通して、「正解がないソフトウェア」に対するアプローチについて解説してくださいました。
少し内容について紹介します。
そもそもテストで行いたいこととは
●入力側（テスト設計）
欠陥を見つけたい and/or 品質が十分高いと示したい（入力側）
→欠陥が起きる入力・事前状態・条件を選ぶ
→網羅性を定義し高める
●出力側（テスト実行）
「テスト失敗」により欠陥に気付くような検査をしたい
→期待値と比較する
→テストの成否判断を定義する
しかし、テストオラクルのない世界ではこれだけでテストは出来ず、他に意識すべきことがある
・ソフトウェアが「本当にやりたいこと・得たいこと」ができるのか
・エンドユーザーへの影響
・社会・論理的な問題はないか
そのため、テストオラクルのない世界では、チームでどういう挙動を期待し、どこまで許容とするかなどを検討し、定義する必要がある。
また、テストにおいて重要となってくるのは「幅広い品質」になる。
例：
●予測性能
●テストデータ（テストのための訓練データ、評価を比較するための評価データなど）の十分性
●より実世界・人間に沿った品質であること
社会性・公平性・論理性など
機械学習型AIに対するテスト手法については書籍「AIソフトウェアのテスト」もよかったら参考にしてみてください。
感想
このセッションでは、そもそものテストの目的についても触れられていました。私が働いてる現場でも、そのバグはユーザーにどう影響あるのか、その仕様でユーザーにとって価値のあるものなのか、についてチームで議論することもありましたので、テストオラクルのない世界だけでなく、テストオラクルのあるプロダクトのテストでも意識して取り組み続けないといけないポイントだったと改めて思いました。
セッション4-2 「高速リリースを支えるエムスリーQAチームの取り組み」
講演者：窪田純士（エムスリー）
このセッションでは、現場で品質改善活動を始める際のアプローチ対象の見つけ方や具体的な取り組みについて紹介していただきました。
内容について少し紹介します。
QAチームのミッションとは
「低コストで高品質の製品を作り、高速リリースが可能な開発チームを創る」ことである。
QAチーム＝テストだけをするチーム
ではなく、プロダクト全体・チーム全体で高品質を創る・維持できる組織作りをし、「品質」を牽引するチームのことである。
そのチーム実現のためにできること
●上流工程からの介入（仕様検討段階でQA視点を入れた活動）
●バグを検出するだけでなく、バグを埋め込まない仕組みづくり
障害・バグの振り返りを行い再発防止策を立てる
●リリース後の不具合分析、メンテナンス
●開発チームだけじゃなく、プロダクト製作に関わるステークホルダーへの不具合の共有
●定期的な品質改善のためのミーティングをチームで設置
こうしたアプローチ方法によって、QA作業の最適化ではなく、チーム全体の最適化を目指していくことが高品質なプロダクト製作につながる。
感想
このセッションで強く思ったことは、私の現場でもやってることがいっぱいある！でした。
しかし、中には自分で目的などを言語化できない活動もあったため、自分の仕事の各作業の目的とその効果などを日々考え、測っていくことで、こういった場所でも発表できるものになっていくんだと思いました。
目的を持って動くこと、それを言語化すること、でこれまでの仕事により自信がついていくのだと改めて考えさせられたため、メインセッションではなかったですが、このブログで取り上げさせていただきました。
まとめ
正直に言いますと、すべて完全に理解できたわけではなかったです。
難しい話も多かったですが、自分が知らない世界を知るきっかけになり、さらに深く理解していけるチャンスとなりました。
このブログがみなさんの興味に刺激を与え、何かのきっかけになればと思います。私は今後もこういった社外イベントへの参加、そして自分の仕事の目的の明確化と言語化を進めていこうと思います！
最後までお読みいただきありがとうございました👐
執筆者プロフィール：小波津 カロリーナ
新卒として2018年にSHIFT入社。
通信・産業の案件を複数経験後、アジャイル開発の現場でQAを実施。
関西弁喋る日系ペルー人。
お問合せはお気軽に
https://service.shiftinc.jp/contact/
SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/
SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/
SHIFTの導入事例
https://service.shiftinc.jp/case/
お役立ち資料はこちら
https://service.shiftinc.jp/resources/
SHIFTの採用情報はこちら
https://recruit.shiftinc.jp/career/