見出し画像

MagicPodユーザーLT会レポート

AIテスト自動化プラットフォーム「MagicPod」公式note

こんにちは！MagicPodコミュニティマネージャーのタガミです。先週の金曜日に初めての試み「MagicPod ユーザーLT会」を開催したので、そのレポートを書いていこうと思います!!素敵な発表ばかりでレポートが長くなってしまう気もしますが・・・お付き合いください！！！！！いってみよ～～～！！

とても暑い日だったので会場まで本当に来てもらえるか心配しましたが、ほぼ満席！

MagicPod発表「MagicPodでFlutterアプリをテストする」
エンジニア脇坂

この後自己紹介で最近テニスの大会で優勝したことを報告し、拍手を浴びた脇坂さん

MagicPodからは、FlutterアプリをMagicPodでテストするための方法について、進捗や難しさのポイントについて解説しました。
先日プレスリリースを出し、ガイドラインを正式に一般公開したので詳細はそちらをご覧ください。MagicPodだけではなく、MagicPod以外の自動テストツールでも使える汎用的な内容となっています。

ガイドライン
E2EテストのためのFlutterアプリ実装ガイドライン
Flutterアプリのサポート状況とテストケース作成の工夫

イベントでは、リリースより一歩早くユーザーさんに状況を報告させてもらいました。


LT①「MagicPodで始める がんばらない回帰試験の自動化」
サイボウズ株式会社 玉木岳爾さん

ユーザーさんLTのトップバッターありがとうございました！

最初の発表は自転車で山を登るのが趣味の玉木さん！
導入の経緯、使い方、テスト自動化の良かった点や失敗談、「がんばらない回帰試験の自動化」の一例やその先に見えることなどお話しくださりました。

品質を意識したうえで、リリースを早くするために「増え続ける回帰試験を自動化したい」と考えMagicPodを導入。MagicPodはセットアップも簡単で、サポートが尋常じゃないというお褒めの言葉も頂きました！(うれし～～い！)

しかし、後悔ポイントも。それは「もっと早くMagicPodのベストプラクティスに乗っかればよかった」。具体的には実機端末を自動テストの試験環境にしようとがんばってしまったことで苦労が多かったとのことです。

現在は、実機端末はなるべく使わない、定期実行の結果をKintoneで管理する等の工夫で「がんばらない回帰試験の自動化」を実現されています。

そして最後には「MagicPodは相乗りタクシーのようなものだ」というお話をしてくださりました。ユーザーや機能が今後増えていけば、より大きく快適になるのではないか、として最後には「MagicPodのユーザーコミュニティをもっともっと盛り上げましょう！」という感動の一言で締めてくださいました😭

LT②「『スタディサプリ 中学講座』における E2E Test の運用と計測による改善」
株式会社リクルート Tatsuto Inoueさん、Takeshi Kondoさん

前半はInoueさん！

井上さんは、リクルート(元Quipper)で一人目QAエンジニアとしてチームの立ち上げやE2E自動テストの導入、文化作りをご担当されています。
後半の計測の話の前提共有のために、デプロイフローなどについて共有してくださりました。

リリースは「開発者が任意のタイミング、かつ、マイクロサービス単位でしている」そうで、その際に手動のリグレッションテストはなく、MagicPodによるリグレッションテストをフローに組み込んでいる、とのことでした。

また、ユニークなのが、テストケースを開発者全員が作成する、というルール。QAはあくまでフォロー、アサインは基本的には機能開発に関係した開発者、という運用にされているそうです。このあと会場では週次定例の様子を実演してくださったりと大変盛り上がりました！

後半はKondoさん！

続いて近藤さんは、MagicPodの成功率と実行時間の計測についてお話しくださりました。「みなさんMagicPodの計測はしていますか？」というドキリとする質問でプレゼンスタートです。

「もしかして、私のMagicPod、遅すぎ・・・？」という疑問に対して、「推測するな、計測せよ」と言い切りました。（かっこいいセリフ～！私にもグサリと刺さりました）

詳細は資料にありますが、リクルートさんではGitHub Actionsを活用して開始時間と終了時間を取得して差分を計算されています。

その結果、計測されていることが改善へのモチベーションとなり、運用の変更や実行時間の改善につながりました。
最後にはMagicPodに改善要望も頂いたので、その場でissue化⇒近藤さんがその場で補足コメント追加といったアクションにもつながりました！

LT③「みてねの安定リリースを支えるMagicPod活用状況」
株式会社MIXI 森島諒さん

LT公募に対しすぐに立候補してくれた森島様(ありがたかった・・・)

MIXIではAndroidとiOSのテストにMagicPodを使用してくれています。発表の中ではそれぞれの実行状況について非常に細かく共有してくださっています。(参考になる・・・!!)

嬉しいことに、MagicPodの恩恵についても発表してくださりました！
・リグレッションテストにより予期せぬ不具合の発見につながっている
・毎日実行されていることでリリース前の安心につながっている
・リリース前テストが誰でも簡単にボタン1つで実行できるようになった
・ライブラリなどのアップデートが楽になった
・エンジニアにも認知が広まり、実行やテスト自動化を依頼されることも増えてきた!
など、MagicPod開発メンバーもうれしそうに聞いていました。(一番うれしそうだったのは伊藤さん)

他にも、
・２週間ごとにメンテナンス担当を設定して交代する制度
・共有ステップを使い倒す
・１テストケースで複雑なパターン実行
・一括実行はすべてラベル管理
など様々なテクニックを画面キャプチャつきでご紹介くださりました！
MIXI社内に「自動化コミュニティ」があり知見交換会が行われているというのも、さすがの一言でした！！

LT④「高い開発生産性を実現するために取り組んだMagicPodの利活用」
株式会社BuySell Technologies　神保拓眞さん

神保さん(堂々と発表していましたが4月入社の新卒さんなんだって・・優秀すぎて末恐ろしい！！)

BuySell Technologiesのエンジニアチームといえば、そう、開発生産性がすっごく高いんです。(Findy Team＋Award2022受賞)
featureフラグを活用したトランクベース開発をしており、小さく高頻度でリリースをするので、PR数が1日に10件を超える日もあるほどとのこと！
自動テストが安全性を担保しておりCI/CD連携でテストを回しまくっています。具体的には単体テスト、画像回帰テスト、インタラクションテスト、E2Eテスト(MagicPodはこちらで活躍中！)を実施しています。

StoreではMagicPodを定期実行、デプロイ前、PR時点の３つのタイミングで実行しており、それぞれのタイミングでの具体的な実行方法までご紹介くださりました。
MagicPodを回しまくることで、
・安心安全が得られる！
・人間の確認作業を最小限に抑えられる！
・エンジニアがテスト作成や機能開発に集中できる！
などのメリットを感じてくださっているとのことで、「使い倒しましょう！」とプレゼンを締めました。

何度回しても同一料金というのはMagicPodのこだわりポイントなので、このポイントを活かして効果を感じてもらっていることがわかった、とってもうれしい発表でした！！

LT⑤「自動テストを社内へ浸透させた話」株式会社レコチョク　清崎康史さん　

レコチョクさんからはお二人が登壇してくださりました！

最初は清崎さんによる「自動テストを社内へ浸透させた話」です！

清崎さんは現在QA組織をリードされています。
レコチョクのQA体制は、独立したQA組織がプロダクトを横断的にサポートされているようです。社内での取り組みのうち、この日は２つご紹介くださりました！

一つ目が「Android/iOSアプリの自動テスト本導入」です。
スプリント後半の回帰テストの負荷軽減を実現されており、同じ内容のテストをAndroid OS7versionを自動と手動で実行した場合の実行工数比較をすると、手動で40人日かかる作業が、なんと自動では2人日で実施完了したとのことです！！

二つ目が「スクラム開発と並走」です。
開発と並走してテスト設計とテスト実装を繰り返していたのですが、自動テスト導入に気を取られて自動テストできないケースが疎かになるという課題が出てきました。そこで自動テストできない（向いていない）観点をまとめたガイドを作成。手動で実行する際の観点ガイドにすることで範囲から漏れることを予防できたとのことでした！（素晴らしい！観点ガイド・・・じっくり見たい・・・）

「アプリバージョンアップ時の自動テスト」株式会社レコチョク　村田真矢さん

本日最後のLTは村田さんです！！

今期から新任EM,POをされている村田さん！
「アプリアップデート時のテスト どれくらい意識してできていますか？」という質問からスタート！会場のみなさん、「う～ん。。」と首をかしげていました。
ネイティブアプリを継続的に開発しているときに怖いのが、アップデート後のデクレ。「MagicPodに新・旧アプリファイルをダウンロードできる」という特徴を活かし、MagicPodとS3、Bitriseを使って自動でテストをする方法を紹介してくれました。(資料内に一目でわかりやすい図が掲載されています！参考になる～！！)

「手軽に、自動で アップデート後のテストを実行しましょう！」という呼びかけで発表を締めました。

交流タイム

LT後は交流タイム！軽食やピザ、アルコールで乾杯🍻🍕「LT良かったです！」「まだMagicPodを導入したばかりなのでいろいろ教えてください」など、ユーザーさん同士の交流がたくさん生まれており嬉しかったです！私もたくさんの方とお話しできて本当に楽しかったです😊

22時過ぎまで盛り上がった立食パーティー！！

そんな感じで大盛況なイベントになりました！ご参加くださった皆さま、LTをしてくれた皆さま、本当にありがとうございました！！引き続き楽しいイベントを企画していきますので、ぜひまたご参加ください！！
最後はTwitterから感想を少しご紹介して終わります～！！

みなさんからの感想

みなさん大好きだああああ！！！また会いましょうっ！！