アプリやWebサービス、リリース後に不具合報告が止まらないナゾ！評価駄々下がり…なぜー！？

こんにちは。SHIFT アカウントマネージャー齋藤です。
今回は、多端末テストの奥深さと重要性について紹介します！

ちゃんと作ったアプリのはずなのに、レビューの評価スコアが下がる謎…

一通り機能テストをして、いざアプリをリリースし、ダウンロード数は伸びているものの、テストでは検出されなかった不具合の問い合わせやSNSの書き込みが多発してしまい、ストアのレビューの評価スコアが☆1だらけで悩んでいる方もいるのではないでしょうか？

それはもしかしたら、リリース前に複数の端末による動的テスト（多端末テスト）が足りてないからかもしれません。

市場環境の変化

市場には様々な端末が流通しており、
ユーザーも、人気のあるメジャー機種からマイナー機種まで、さまざまな端末を使用しています。さらにはOSバージョンも複数あり、そのバリエーションの数たるや…はかりしれません。

近年、その数はますます増加傾向にあるというから、、、これは大変です！！

また、以前に比べて、レビューサイトやSNSの普及により、1ユーザーの声がダイレクトに他のユーザーへ影響を与えるようになっています。

そのため、せっかく苦労してリリースまでたどり着けたのに、一部の端末のみに発生する不具合レビューを放置したままにして、全体の評価が下がってしまうことは、あわや命とりと言っても過言ではない状況です。

そこで、リリース前には複数の端末で、想定されるいろいろなOSのバージョンを組みあせたテストを実施し、不具合を取り除くことが必要なんです。

でも、、、それって、どんだけ～～！？

多端末テストとは？

この、“多端末テスト”と呼ばれる、一見、気の遠くなるような「複数端末×複数OS」での検証がとても大切なのです。
多端末テストでは、ユーザーが使用している端末を想定し、複数の端末で機能テストの一部を実施します。多端末テストは機能テストとは目的も異なっており、アプローチ方法も当然異なります。

例えば、あなたがスマートフォン向けのiOSとAndroidで動作するアプリを作るとします。
この場合に、ユーザーが使う端末の種類はどのぐらいになるでしょうか？

ここでは、iOSのサポート対象OSを「iOS 10～iOS 13」とした場合、OSの種類4種類となります。

※厳密に言えば、iOS13.xといったマイナーバージョンや、iOS13.x.xといったリビジョンもあり、iOS13だけでも13.0～13.5.1（2020年7月時点）で15種類もありますが、今回は除外します。

お、4種類だけならなんとかなる・・・？
と一瞬思いますが、では、そのOSが搭載される端末はいくつになるでしょうか？

iOSは主に、「Phone」「Pad」「Pod」の3つのデバイスで提供されています。この中で、iOS10～iOS13をサポートしているデバイスは、実は大量にあるのです。

なんと、ざっと110種類もあります！（このまま警察に電話して相談したくなる数…！）
ユーザーが使用している端末やOSは大きな偏りがありますが、ユーザー数の大小に限らずに考えれば、膨大な種類となっています。。。汗

さらに、iOSはまだ少ないほうで、Androidは各キャリアやメーカーから多数の端末が発売されており、発売後にOSバージョンアップも提供されることもあるため、iOSよりも圧倒的に多く、その数も日々増加中です。

これは「ツンだ！」と思われた方！！はい、わたしも、思います（笑）

このように、iOS/Androidの端末だけでも、膨大なバリエーションがあり、すべての端末を用意して、同じようにテストをすることは現実的に不可能です！

しかも、端末によってスペックが異なるため、全ての端末とOSの組み合わせで同じように動く保証もありません。。。

じゃあ、どうすればいいの？

全端末を総当りでテストするのではなく、実は、効率よくテストするポイントやコツがあります。

多端末テストをする場合、まずはどのぐらい実施するかの方針を決める必要があります。方針を決めるうえで必要となる要素は「かける時間、コスト」と「サービスの重要性」です。

テストをする端末を増やせば増やすほど、時間がかかりコストがかかるのは当然です。そのため、有象無象にテストする端末を増やすのではなく、リリースするアプリのサービスの特性に合わせて実施するボリュームを決めることが求められます。

サービスの重要性については、例えば…
・命に関わるもの
・個人情報に関わるもの
・お金に関わるもの（課金含む）
こういったものは、不具合があった場合のインパクトが非常に大きいため、多端末テストも他のプロダクトに比べてしっかり実施すべきなんです。

上記を加味したうえで、最適なバランスで多端末テストを計画・実施するために、効率よく多端末テストの端末を選定していく必要があります。

「そんなのわかってるよ。どうやってやるんだよ」って思いますよね。はい。

次回は、端末選定のポイントやコツについてご紹介します！

――――――――――――――――――――――――――――――――――

執筆者プロフィール：齋藤亮
IT企業で携帯電話・スマートフォンのテスト業務を経験。その後、SIreでの製造開発経験を経て、SHIFTに入社。 SHIFTでは、大手ISP企業にアカウントマネージャーとして出向し、複数プロジェクトを同時進行でマネジメントに従事。

お問合せはお気軽に
https://service.shiftinc.jp/contact/

SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/

SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/

SHIFTの導入事例
https://service.shiftinc.jp/case/

お役立ち資料はこちら
https://service.shiftinc.jp/resources/

SHIFTの採用情報はこちら　
https://recruit.shiftinc.jp/career/

【ご案内】
SHIFTでは、多端末テストのサービスを提供しています。
これまで多数の多端末テストの実績があり、所有端末数も豊富で
プロの目線から端末選定、端末準備、テスト項目準備、テスト実行までトータルサポートします。

端末固有不具合を減らすためにどのように端末を選定すべきか、といったお悩みや自前で多数の端末を準備できない、といった課題のある方は、ぜひご相談ください。
https://service.shiftinc.jp/service/softwaretest/multi-device-test/