スマホを持ち帰っただけなのに自宅でテストができちゃった話

こんにちは。medibaで品質管理UNIT Managerをやっている成田です。

この記事はmedibaのエンジニアメンバーでやっているmediba Advent Calendar 2020 の3日目の記事として書いています。
カレンダー前後で、スーパーエースのおふたり北田さんと武田さんに挟まれて身も細る思いですが、気を取り直していきましょう。

さて、コロナ禍による影響で、ソフトウェア開発の会社はテレワーク移行も早かったと思いますが、みなさんの会社ではテレワーク環境下で、スマホ実機を使ったテストってどうやっていますか？

そんなもん自動化でチョチョイのチョイで実機なんかいらねーよ、というように振り切れればよいのですが、現実にはそうはいきません。
自動化推進を加速化させつつも、でもやっぱり、実機を使ったマニュアルテストはゼロにはできません。

というわけで今日は「テレワークだからスマホを持ち帰っただけなのに自宅でテストができちゃった」というお話です。
もっといいやり方あるぜよ。という情報ありましたらぜひお待ちしています！

mediba Advent Calendar 2020 - Qiita

テレワークでも実機のテストやらなきゃ

medibaの品質管理UNITでは、年間に、リリース数でいうと500案件以上のテストを実施しています。
コロナ禍のテレワーク環境であっても、リリーススピードを落とすわけにはいきません。
テストエンジニアは20名〜30名の間で推移し、各プロダクトのリリース前テストで品質確認し、世の中にサービスを送り出す一員として活躍しています。
テストでは常に200機種〜300機種程度の実機を使っており、環境ごとや所有元別に実機とテストで使うログインIDの管理をしています。
オフィスでは、テストエンジニア同士が近くにいて実機を貸し借りしながらテストしている日常だったため、コロナ禍によるテレワーク推奨が決定された際、どうやってテストを継続するかに頭を悩ませました。

みんな自宅にバラバラになってどうやってテストしたらいいの？
ゃばいよゃばいよ（→塾弁を届けるのが遅れているときに息子から送られてくる固定メッセージ）とアワアワしながらも、手探りで準備をはじめてみました。

接続環境

まず準備したことは、テレワークでテストできる接続環境です。
情シスとSRE UNITのスゴ腕エンジニアが、任意のスマホ実機でVPN接続にて開発環境にアクセスしてテストができるようにセキュア対応してくれました。（さすがです！詳しく説明しなくてもできあがってて神）

実機にインストールしたVPN接続用アプリで開発環境へアクセスすることで、オフィスと変わらない環境でテストができます。
これでキャリア回線か自宅Wi-Fiでテストができるようになりました。

オフィス出社しないとできないテストを定義

ではすべてテレワーク環境で実機を使ったテストができるかというと、そうではありません。
VPN接続には難点があって、1接続しかできないため1実機ごとの接続となり、同時多機種テストができません。

また、VPN接続ができない機種でのテスト、希少機種でオフィスから持ち出せない機種でのテストといったオフィス出社しないとできないテストは残存します。
そのようなオフィス出社しないとできないテストを定義することでテスト計画を立てやすくしました。

いよいよ持ち出すよ

次はいよいよテレワークスタートに向けて実機の持ち出しです。
コロナ前は持ち出し禁止だった実機はそれぞれ所有元に許可や必要な手続きを取ります。
「担当するプロダクトのテストでよく使う実機セット」を個人別に選定し、やっと準備ができました。
また、オフィス出社でのテスト時に、持ち出した実機を持ち運びしないことが大切です。持ち運ぶときに紛失したら事件です。
そのため、オフィス出社したときにも複数人がテストできる程度に、オフィスにも実機をバランスよく残しておきます。

トレースの仕組み

準備してみると、多い人で数十台も持ち出すことになりました。
障害発生時や特定機種での動作確認が必要なときのために、誰がどの機種を持っているかの把握が必要です。
どうやって把握と管理をしよう。ゃばいよゃばいよ（ry とメンバーに相談したら、品管UNITの素敵な女子たちが持ち出しルール＋管理表＋トレースの仕組みをさくっとつくってくれました。
なんてみんな素晴らしいんだろう。

担当するテストに合わせて「よく使う実機セット」の入れ替えが頻繁に発生します。
その場合、入れ替え対象の実機を持っているメンバーがオフィスに実機を配送し、管理メンバーにてオフィスで受け取って次にその実機を必要としているメンバーへ配送します。
いやー、かなりアナログですね。
どこでもドアとか『ザ・フライ』に出てくる転送装置“テレポッド“みたいなのがあるといいなぁ。ないよね。

持ち出しするときにSlackで投稿＋管理表記入することで現在の各実機所有者を把握できます。
定期棚卸しで実機写真をSlackで投稿してもらい、所在確認を入れることで、次々に持ち主が変わってもトレースできて紛失しない仕組みをつくりました。

下駄箱ラブレター運用

ところで、配送費用は個人で立て替えてもらっています。
配送伝票は領収証として原本保管が必須なので、なんとかして配送伝票現物を受け取らなくてはいけません。

medibaには個人ロッカーがありまして、個人ロッカーの上部にあるレタートレーにて、ちょっとしたお手紙などを受け渡すことができます。
そのレタートレーを利用し、各メンバーがオフィス出社したタイミングで、配送伝票の受け渡しをしています。
このアナログ感がたまりませんね。
中学生のときの、下駄箱にラブレターが入ってた！みたいな気分が味わえます。
まあ、実際には今も昔もラブレターがはいっていたことはありません。

おわりに

コロナ禍前と比較すると、制限が多く不便な環境でのテストであることは否めません。
にも関わらず、致命的な不具合を見逃すことなく、ほぼ変わらないスピードでテストをやりとげてくれるテストエンジニアのみなさん、安心した実機管理や環境提供で情報セキュリティ事故など起こすことなくテストを支えてくれるメンバーのみなさんのプロ意識の高さに、本当に助けられています。尊敬と感謝の毎日です。

自宅でテストはまだ続くので、もっとテスト環境を良くして、medibaのプロダクト成長を支え、高い品質でリリースし続けられるようにしていきたいと思います。
そして、この状況でも楽しく乗り切る気持ちを忘れずにいたいと思います。