見出し画像

Autifyにまつわるエトセトラ

弊社ではE2Eテストの自動化ツールとしてAutifyを利用しています。
今回は、Autifyの紹介や、どのように利用しているか、便利ポイントなどをQAグループのいいださんに聞いてみました!
いいださん テクノロジー事業部QAグループ(以下 い)
よこやま テクノロジー事業部GM(以下 よ)


よ Autify使ってどんなQAやってます? そもそもAutifyとは何ですか?

い 通常のテスト業務において、人の手を介して行っている作業を自動化する便利なツールです。
今までの自動テストツールは、コーディングだったり複雑な組み込みが必要だったのですが、Excelのマクロ(記録)みたいな感じで、テストの操作をすることでAutifyが自動でテストシナリオをつくってくれるので、誰でも簡単にテストシナリオをつくれます。

よ 実際の画面はどんな感じですか?

Autifyの画面(ぼかしてます)

い こんな感じでほにゃらら画面というテストシナリオが組まれています。
一例ですと、画面を操作する感覚でログインした後に対象テキストが含まれているか、正しい画面に遷移するか、定義との差分が無いかなどのシナリオをつくります。
シナリオを実行して差分検知ができたりします。

よ テスト結果で赤いのは何ですか??
い なんらかの差分が発生しているので、原因を特定して、それが問題あるかどうかチェックします。すべての項目で問題ないことをリグレッションテストしています。ただ、赤いのも再実行したらOKの場合もあります。
どうしてもエラーになるのもあるので、そこは開発側に修正してもらいます。

よ QA以外で使っている人はいますか?
い SREでリリース後の動作検証とかで使っています。
よ 開発のエンジニアで使っている人は?
い おそらくいません。
よ 使えるようにした方がよいかもですね!
(近くにいたエンジニアをつかまえる 以下 じょ)
い Autify使ったことあります?
じょ ありません
(再度説明)

よ まったく同じシナリオだけど入力値だけ変えるのは簡単ですか?
い 簡単です。
じょ 全環境で使えます? ※弊社はテスト環境が複数あります
い TEST1だけです。
じょ 他の環境でも使いたいですね。

よ 事前に開発側でテストできればQAも楽になりそうですね。作ったものをどうテストすればいいかは開発側もわかっているので効率化できそう。
一個一個ヒアリングしてシナリオつくっています?
い そうです。
よ 開発側でシナリオのベースを作って、QAで追加してもらうのもよさそうですね。
単体レベルのシナリオテストがあると開発側もリグレッションで安心できる
い 環境の向き先を変えるのはそんなに難しくないです。ただ、実行シナリオ数に制約があるので、優先度が高いものだけ流しています。そこで、開発でも使うとなるとプランの見直しが必要になりそう。
よ 今、費用はどれくらいですか?
い 年間xxx万円です。
よ 1シナリオxxx円ですね。ちょっと高い…
い 基本プランなので…
よ ユーザー数での課金はない?
い ありません。あくまでシナリオ数です。
よ Autifyのはじめ方とかあります?
い まとめたものが社内用としてあります。
よ すぐじゃないけど、開発側でも使えるようにしてQAの効率化につなげましょう!
(じょさん 退席)

よ Autifyでどのあたりが楽になったとかありますか? 逆に利用して出てきた課題は?
い テスト全体の見える化ができてません。メンテナンスや運用が属人的になっています。また、良いシナリオの書き方がわからず、経験則からつくっています。シナリオの管理や運用方法をよくわかっていないまま進めているのはリスクです。
あと、自動化したいけど実現できてないケースがいくつかります。開発で対応できないものをどう自動化するかが課題です。
よ 具体的にはどういう課題ですか?
い 画面上のラベルに必要な要素(classやid)がないため、Autifyで検証できないところがあります。これの対応をチケット化することはやります。
よ どんどんやりましょう!

よ カバレッジは今どんな感じですか?
い 機能レベルではほぼほぼカバーできています。ただ、ぜんぶ実行はしていません。(先程の料金の問題)シナリオのプライオリティで実行するかどうかをわけていますが、そこの精査はQAグループでやっています。
よ 今のシナリオ数はどれくらいですか?
い 700強くらいです。
よ 今の契約内容だと全部リグレッションはきついですか?
い はい。全部やろうとすると倍くらいになります。
よ それでも700は多い気がするので、使っていないシナリオは消したいですね。oldやbackupと名前が付いているシナリオとか。最終テストの日時が古いものとか。
い そうですね。
よ QAのQAも意識しましょう。


以上、弊社でのAutifyでの利活用でした。Autifyはほんとに便利なツールなので、E2Eテストには欠かせません。それと同時にテストそのものの計画や品質をコントロールするものではないので、そこはQAグループつまり人間にかかっていると感じました。

WE ARE HIRING!!


この記事が気に入ったらサポートをしてみませんか?