多端末テスト“自称”専門家！の目線から、多端末の選定ポイントをご紹介！！

こんにちは。SHIFT アカウントマネージャーの齋藤です。

前回は「多端末テストの奥深さと重要性」について紹介しましたが、今回は「多端末テストの端末選定のポイントやコツ」を紹介します！

※前回記事：アプリやWebサービス、リリース後に不具合報告が止まらないナゾ！評価駄々下がり…なぜー！？
https://note.com/shift_tech/n/ne5631bb5784f

多端末テストの端末選定のポイントやコツって？？

ズバリ！
「① 市場シェア率」＋「②シェア率では補えないサポート範囲」＋「③特殊ケース」
が効率よくカバーできる条件です。

基本的には使用しているユーザーが多ければ多い端末ほど、端末依存の不具合があった場合にユーザーが目にする機会が多くなりますよね。
なので、まずはOSや端末の市場シェア率を調査し、その結果をベースに検討することが必要です。
ただ、前回の記事でもお伝えしたとおり、シェア率の高いものだけを実施すれば安心！というものではありません。

というわけで、もう少し内容を深堀っていきます！

①～③を詳細に見ていこう ！

① 市場シェア率
前述の通り、ユーザー使用率が高いOS・端末、メーカーです！
Apple・Googleが公開している情報や、google analytics・Appアナリティクスからの情報、調査サイトが公開している情報、売上ランキング等を参考に上位がカバーできるようピックアップします。

② シェア率では補えないサポート範囲
シェア率から実施するOSや端末を決めた場合、カバーしきれていないOSや端末メーカーが出てきてしまうので、カバーできていない箇所を無くすよう不足部分を補います。

③ 特殊ケース
上記の①や②はOSや端末メーカーに注力していましたが、それだけではカバーできていない機種固有のものを指します。

この中で①はイメージしやすいと思いますが、②と③はよくわからない・・・！
ですよね？実例を元に観点別でご紹介します！

OSの観点 

​例えばiOSでiOS10～13をサポートしているアプリの場合、OSのマイナーバージョンやリビジョンまで考慮すると多数のバリエーションが存在しますが、全て網羅することは現実的ではないことから、ピックアップして選定するのが現実的です。

ポイントとしては、下記の優先度順でピックアップしましょう。
１：シェア率の高いOSの最新マイナーバージョン
２：各メジャーバージョン毎の最新マイナーバージョン
３：各メジャーバージョン毎の初期マイナーバージョン

３は、初期バージョンのみで発生するOS起因の不具合もあり、こういった場合は後続のマイナーバージョンでは解消されていることが多いため、サポート範囲のメジャーバージョンの初期バージョンと最新バージョンの両方でテストすることをオススメします。
初期バージョンの不具合については、多端末テストによってOS更新で解消される不具合かを把握しておければ、OSの更新をユーザーに促すことで無理にアプリ側で改修する必要性も軽減されるメリットもあります。

AndroidのOSはここまで細かいマイナーバージョンはありません。
例えばAndroid 5～10だと下記の通りです。

ただし、一部の機種については、素のAndroidをベースに大きくUIを変更しているファームウェアが搭載されている機種も多くありますので、各メーカーをカバーできるよう選定することが理想です。（SamsungのOneUI、HuaweiのEMUI、OppoのColorOS、XiaomiのMIUIなど）

画面解像度の観点

端末に搭載されている画面の解像度で、端末固有の不具合が発生する場合があります。

解像度が高い場合は想定よりも小さく表示されてしまうことがあり、逆に解像度が低い場合は想定よりも大きく表示され、画面や文字の見切れ等が発生することがあります。

アプリは端末が持っている解像度の情報を元に画面パーツやアイコンを配置しているため、サポートしている端末の範囲内でレイアウト崩れや文字切れ等がないかテストする必要があり、端末選定時は各画面サイズと解像度の組み合わせで全てカバーできていることが望ましいです。

iOSでは下記のバリエーションがありますので、それぞれカバーできるように選定します。（2020年7月時点）

Androidはピクセル密度グループという、解像度の度合いをグループ化(xhdpiやxxhdpiなど)しているので、解像度というバリエーションはさほど多くはありません。

画面解像度の観点としては、まだそこまで複雑ではありません、、、！が、この次に記載する③特殊端末という観点を含めると、非常に複雑なバリエーションとなります。

例えば、最近ではフロントカメラを避けるようなノッチやピンホール、iPad Proのように上下左右の角を丸くするノッチが搭載されている端末、更にはアスペクト比が16:9だけではなく、19:9や21:9の縦長端末など、画面解像度だけではなくアスペクト比やノッチ有無の条件を考慮すべきです。
こういった端末のレイアウト周りについては、ボタンが押せない、画面外にはみ出す、といった不具合が発生しがちなので、より注意してテストする必要があります。

iOSは端末の条件によってiOS Human Interface Guidelinesに準拠できていない場合、アプリ審査でリジェクトになりリリース遅延になるリスクもありますので、その観点でも多端末テストで合わせて確認するとよいでしょう。

その他の観点

下記の観点についても、選定した結果に含まれているか確認します。

・端末性能（スペック）
性能の良いものと悪いもの（ハイエンドとローエンド）を意識すべきです。
ここでいう性能とは「CPUやGPUのチップやメモリ量」に依存する処理速度です。
性能が良すぎる場合は想定していない速さで動作してしまうことがあり、性能が悪すぎる場合は想定時間内に処理できず、タイムアウト等といったエラーやカクツキ、異常発熱が発生する場合があります。

・省電力機能
端末メーカーによって、省電力機能が搭載されていることがあります。
この設定やOSの省電力機能の組み合わせにより、例えば通知が届かない等など、想定していない動作となる場合があります。
例えば、上記のケースでは仕組み上、省電力でバックグラウンドが抑止されたため通知が届かないことが正常動作ではありますが、ユーザーの立場からみた場合は通知が届かない！！といったクレームにつながるリスクになります。
ユーザーから見たらアプリのせいではない、といった視点は関係なく、ユーザー体験として問題がないかの視点でテストすることが重要です。

・アプリの特性
アプリによっては、カメラを使用するものや動画や音楽を再生するもの、GPUを多く使うもの、位置情報を使うものなど多用に渡っています。
テストするアプリの特性に合わせて、その観点で網羅できるようにするべきです。

カメラを使用するアプリ：カメラ性能差異も考慮
位置情報を使用するアプリ：GPSセンサー差異も考慮
3Dゲームアプリ：SoCの性能差異も考慮
高速な通信が必要なアプリ：Wi-Fi通信性能と各通信キャリアのSIM通信も観点も考慮
Bluetoothを使用するアプリ：Bluetooth対応バージョン、プロファイルも考慮

アプリ以外にも流用可能？

今回はスマートフォンアプリを想定して紹介しましたが、同じ観点で、例えばPCをメインターゲットにしたECサイトといったサービスにも同様の観点で見ることができます。
ECサイトの場合は、ユーザーはブラウザでページにアクセスするので、ブラウザが使える端末でのバリエーションを検討します。

上記はあくまで一例ですが、「ブラウザのシェア率」をベースに「機能試験ではテストしていない環境」や「特殊環境」をピックアップしていく、といった方法でも網羅できます。

まとめ

ここまで、多端末テストの必要性と、いざ実施するときの選定ポイントを紹介してきました。

多端末テストでの端末を検討した結果は、OSや端末がこれまでの観点で抜け漏れなく選定できたかをExcelなどで表にして再度チェックすることが大切です。
また、多端末テストでは、不具合があり改修した場合、改修の影響範囲として再度多端末テストを実施する場合もあるので、再テストの工数も検討時に考慮すべきです。

多端末テストの観点は機能試験ではないので、OSや端末などの環境に依存の試験項目のみをピックアップして試験すべきで、多端末でどの内容をテストするかも合わせて計画段階で検討しましょう。

このように多端末テストは非常に奥深く、端末準備も含めて実施難易度が高いテストです。

マイナーな端末での固有不具合により低評価レビューでアプリ全体を評価されてしまうのは非常にもったいないので、コストとアプリ・サービス品質の最適解を見つけ、サービスリリースへのプロセスに多端末テストを積極的に組み込んで行きましょう！

――――――――――――――――――――――――――――――――――

執筆者プロフィール：齋藤亮
IT企業で携帯電話・スマートフォンのテスト業務を経験。その後、SIerでの製造開発経験を経て、SHIFTに入社。 SHIFTでは、大手ISP企業にアカウントマネージャーとして出向し、複数プロジェクトを同時進行でマネジメントに従事。

お問合せはお気軽に
https://service.shiftinc.jp/contact/

SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/

SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/

SHIFTの導入事例
https://service.shiftinc.jp/case/

お役立ち資料はこちら
https://service.shiftinc.jp/resources/

SHIFTの採用情報はこちら　　　　
https://recruit.shiftinc.jp/career/

【ご案内】
SHIFTでは、多端末テストのサービスを提供しています。
これまで多数の多端末テストの実績があり、所有端末数も豊富で
プロの目線から端末選定、端末準備、テスト項目準備、テスト実行までトータルサポートします。

端末固有不具合を減らすためにどのように端末を選定すべきか、といったお悩みや自前で多数の端末を準備できない、といった課題のある方は、ぜひご相談ください。
https://service.shiftinc.jp/service/softwaretest/multi-device-test/