見出し画像

MagicPodミートアップ ヘルススコアNight

AIテスト自動化プラットフォーム「MagicPod」公式note

こんにちは！MagicPodコミュニティマネージャーのタガミです。
先週の金曜日にオフラインのミートアップを開催したのでレポートしていきます！登壇資料のリンクも貼っているのでぜひ参考にしてください！

40名の方にお申し込みいただき満席御礼です！

今回の会場は、MagicPodユーザーでもあるピクシブ株式会社さまがお貸しくださりました。コミュニティSlackで会場を貸して欲しい旨の相談をPostしたところ、真っ先に「貸出可能です！」とコメントをくださり、すごくありがたかったです🥹

このBlogの通り、遊び心がありつつも機能的な、それはそれは素敵オフィスでした！

こちらは会場準備中の様子

ユーザーさんが迷わないように急遽追加した案内板は手作り感満載
交流タイムまで小腹が空くのでスナックやお水をご用意
オリジナルノベルティはご自由にお持ちくださいコーナーに設置
人も集まってきたので、ミートアップ開始です！

最初は、今回中心となって会場提供を進めてくださったピクシブのああうえさんから、会場に関するご案内とピクシブの会社についてご紹介いただきました。

現在は、4月にリリースされたiPad向けの新しいペイントツール「Pastela（パステラ）」をご担当

続いて、MagicPod CEO伊藤のセッション
「MagicPodのテスト自動化ヘルススコアはどうやって決まるのか」です！

まだヘルススコア機能を使ったことがない方も多くいらしたので、まずは「ヘルススコア機能とは何か？」について概要をご説明。
今日はさらに現時点でのヘルススコアのロジックについても公開・解説していきました。概要としては、ヘルススコアは「テストから信頼のあるフィードバックを毎日得られるか」を計測しており、「コスト削減できたか」「バグを見つけたか」といったことではない、ということで、具体的な項目ごとの点数やその理由について一つづつ解説していきました。

詳細はこちらの資料をご確認ください！

続いてユーザーさんからセッションです。
お一人目はLINEヤフー株式会社のToda Chiharuさんのセッション
「ハイスコアから紐解くチームの自動テスト運用」です！

なんと登壇のために新幹線に乗って来てくださりました

まずはTodaさんのチームの品質管理体制からご説明いただきました。
テスト対象はモバイル（iOS/Android）と」PCウェブ、チームはQAエンジニア1名＋テスター5名（自動テストはTodaさん含め2名で運用中）。
MagicPodは導入して3年目、テストは毎日実行しており月次のテスト実行回数は1万超え。隔週リリースごとに手動実行していた回帰テストは全て自動化済みとのことです。（さらっとすごいこと言う！）
ヘルススコアは毎週確認し、平均するとスコア90以上を継続されており、今回はハイスコア継続に繋がった取り組みを、3つのポイントに分けてご紹介くださりました。

１つ目のポイントは「脱属人化」。取り組みとしてはペアプロ風の進行でテストケースを作成する、ということを試されており、具体的な方法や成果についても共有してくれました。

２つ目のポイントは「習慣化」。意識的に優先度を上げて、日々の作業プロセスに組み込むために、具体的なアクションとしてどうシフトチェンジしたのかについて紹介してくれました。

３つ目のポイントは「保守安定化」。ここでは例として「モバイルで外部ブラウザを開き、ウェブアプリを開くテスト」を題材に、どのように課題に対して考えていくべきか、アプローチの方法や選択肢について考えを発表してくれました。

最後は「Thank you MagicPod!」と言ってプレゼンを締めくくってくれたので、私は心の中で「こちらこそThank you so much!!!!!!」と叫んでました。

発表のまとめや詳細はこちらの資料をご覧ください！

続いてユーザーセッション２人目は、株式会社メドレーのDaishuさんのセッション
「ヘルススコア100に到達した理由」です！

上司も目の前に、緊張をしつつも堂々とした発表

Daishuさん、セッション冒頭から大発表！なんとiOS,Android,Webブラウザ全てでヘルススコア100を達成したとのこと🎉しかも、全てが100になったのはなんと今朝！発表タイトルを先に決めて自分を追い込み、今朝やっと達成できたとのことです。（かっこよすぎじゃないか？）
そんなメドレーさんも初めから順風満帆だったわけではなく、半年前はヘルススコア30で、そこから改善を重ねてきた結果とのことで、セッションではその取り組みや途中で起こった失敗談を発表してくれました。

主な改善点は、デイリー実行への切り替え、テストケース数を増やす、共有ステップの大量生産ですが、中でも特に効果のあった共有ステップの活用についてフォーカスして発表してくれました。

共有ステップを制作する基準として「現時点で他から利用がなくても、将来的にあると便利なら共有ステップとして作成する」としたことで、パズルを組み上げて実装するスタイルを確立することができたと話しました。また、汎用性・拡張性についても実際のテストケースを例に挙げながら具体的に発表してくれました。

また、すぐに成果につながった話だけではなく、失敗談もお話してくれました。その名も「不安定なロケータ問題」。
ディレクトリ変更が行われた際に、ロケータに利用していたCSSのランダムなクラス名が全て変更されてしまい全ての要素特定に失敗。全件Failに・・・
（MagicPodヘルススコアで以前から指摘されていたが無視していたw）結果、全ての修正に１週間かかってしまったとのことです。

この失敗からの教訓や対策、対応方法やその際に使って便利だったツールなども細かくシェアしてくれたので、詳細はぜひ資料でご覧ください！

ユーザーセッション３人目は株式会社リクルート Takafumi Yanagawa(アシカ)さんのセッション
「ヘルススコアの改善の過程で起きた嬉しい変化」です！

自身を電気工事できる系QAエンジニアと紹介　ポジショニングがさすが

アシカさんはリクルートの数あるプロダクトの中でも(私の大好きな)スタディサプリの担当組織に属されています。発表では、E2Eテスト自動化の安定運用を実現するために考えたこと・実践したこと、その結果得られた成果について発表してくれました。

E2Eテスト自動化を始める際、その目的を改めて整理される中で、達成するために必要なことがMagicPodのヘルススコアの項目そのものであることに気がついたアシカさん。そこで目的達成のために、ヘルススコアの改善に取り組むことに。

具体的には

  • 確実に保守できる量のテストケースを実装

  • E2Eテスト自動化の活動を認知してもらう

  • テスト結果の信頼性を高める

  • E2E自動テストの結果に関心を持ってもらう

といった取り組みをされており、MagicPodの提案するプラクティスそのものだとおっしゃってくれました！そして結果的にヘルススコアは98に👏さらに、ヘルススコアを意識した改善を重ねた結果、リグレッションを早期に検知できるようになりました👏

が、変化はそれだけではなく、これらの効果もあったと話します。

  • MagicPodを活用したテストの相談が来るようになった

  • 開発者から軽微な変更内容であっても共有してもらえるようになった

  • テスト対象システムの不安定さの検知ができるようになった

資料の中では詳細や今後の課題についても書いてくれていますのでぜひご参照ください！

各セッションの後は、事前に参加者の方からいただいた質問をベースにQ&Aパネルを行いました。

一つ一つの質問に真摯に回答してくださる登壇者のみなさま

その後はバーカウンタースペースに移動して交流タイム！！
美味しい食事やアルコールと一緒に参加者同士でゆっくりお話ししました、

うしし　生ビールもあるよ
中華をご用意しました
ワイワイ大盛り上がり
準備から手伝ってくれたメンバーも、盛り上がってひと安心
あたたかいお料理も　「ほらそこのあなたも食べて食べて！」と配りまくる
MagicPodポーズで集合写真

みなさんに支えていただき、とてもとても楽しい会になりました🥹

最後に、この場を借りて私からお礼の言葉を。
このMagicPodコミュニティを正式に立ち上げて約2年半が経ちました。
毎回ユーザーミートアップをするときには「場所はどうしよう」「登壇者は集まるのだろうか」「オフラインで実施して参加者が集まらなかったらどうしよう」という大きな不安の中企画をスタートします。

ですが、今回のミートアップではSlackコミュニティにポストするだけで、ああっという間に「うちのオフィス使ってください」「登壇してみたいです」と立候補してくださるユーザーさんが現れ、参加者の募集も過去最多人数でしたが満席のお申し込みをいただきました。それだけでなく、DMで「手伝うことがあればなんでも言って」といったメッセージをくださる方もいて、本当に素晴らしいコミュニティに育っているのを実感しました。

当日会場でも「楽しかった！」「次回は自分も登壇したい！」といった嬉しい言葉をたくさんいただき、心からたくさんのユーザーさんに支えられているコミュニティであると実感するとともに、大きな感謝で胸がいっぱいです！！

この「ありがとう」の気持ちはユーザーの皆さまに少しづつお返ししていけるよう、引き続きコミュニティの改善やイベントの企画など日々努力していこうと思います！！

最後にXの声をいくつかご紹介してこの4000字近いレポートを締めようと思います笑

MagicPodユーザーさんもMagicPodのみんなも大好きだ〜〜！！！！

ではまた！