イベントレポート： アペルザの品質を支えるE2Eのグレートジャーニー

こんにちは。mabl（メイブル）です。

先週の木曜日に「第２回 mabl Japan コミュニティーウェビナー」を開催させていただきました。

今回は株式会社アペルザの佐々木さまより、「アペルザの品質を支えるE2Eのグレートジャーニー」を発表いただきました。

E2Eテストを作り、運用していく中、3年で2回実行環境を変えながらも、課題解決を少しずつ進めてきた物語です。

資料も公開されていますので、ぜひごご確認ください。

以下、頂いた質問を思い出しながらメモです。

Q. mablを非エンジニアにも広げていく際に、テスト品質を担保するためのアドバイスありますか？（テストは成功しているが指定が違うとか）

A. シナリオの一覧はスプレッドシートで管理してそこで観点を管理しています。ケースを作るときのポイントなどはまとめておき、レビューも実施しています。

Q. 有償ツールを導入時にどのように説得しましたでしょうか？

A. mablにかぎらずいろんな方法を調べて比較検討しました。まずは小さなプランではじめて、効果が見えてきて活用に自信がもてるようになったときに実行回数を増やしています。

Q. E2Eのアプリを検討していて、その中でMablを検証しておりました。基本の英語環境でテストを行うようで言語判定を自動で行う処理をしていて日本語でシナリオを作って失敗してしまうのですが、多言語のテストはどのようにしておりますか？

A. 現在は英語環境での実行になるためテストが落ちてしまいます。よって、文字の確認ではなく要素の存在確認などでしのいでいます。この問題はいくつかのユーザさまからもフィードバックをいただいているため、プロダクト開発チームと連携して早急に対応できないかを検討しています。

Q. E2Eの画面差分はかなりノイズが発生する気がしますがどうでしょうか？

A. 発生します。ただ、さっと確認できる結果画面なのでそれほど負担にはなっていないです。

Q. E2Eをレグレッションテストに絞っているのはE2Eを書くようになってからずっとですか？

A. はい。E2Eテストがメインです。日々のテストはマニュアルで実行し、その中から新機能などのE2Eテストを作って追加しています。

Q. どれぐらいのE2Eがあって、不安定なテストはどれぐらいありますか？

A. テストシナリオは数百件。不安定なものはあまりないですが、IEテストは不安定になりがちです。