視線で話そう！伝えよう！EyeCommunication！！のマニュアル

０、自己紹介

みなさん、どうもこんにちは。私は普段、特別支援学校の教員をしております。

今回、視線で話そう！伝えよう！EyeCommunication！！という、視線入力で行えるVOCAアプリをリリースしました🙂✨

がっ！！！！！トラブル発生。というより、周囲の方に使ってもらった所、大半の人が使い方がわからず、「？？？」という状態・・・。

これは想定外でした。というのも、自分は開発者なので、簡単に扱えるのですが、初めての方の気持ちに寄り添えなかったです。すいません。。。

という訳で、マニュアルを作らないと、間違った使い方をされた挙句、「このアプリ、使い物にならねーじゃん！」と誤解されたまま終わりそうなので、急遽、マニュアルを作成しております。

正しい使い方をマスターすれば、簡単にご使用頂けるので、どうかご一読頂き、正しい使い方をご理解頂いた上で、ご使用の程、よろしくお願い致します。

１、前提知識（全アプリ共通です。読み飛ばしOK）

まず、前提知識として、このアプリはAR技術(Augmented Reality＝アグメンティッド・リアリティの略で、現実世界を立体的に読み取り、仮想的に拡張する技術)を使用しており、具体的にはフロントカメラを使って顔を認識し、目線の向き（視線情報）を把握しながら、大体、どの辺を見ている（と思われる）という想定の下、両目の視線が集まる位置をアイコンで表現しています。

そして、どのような方が対象になるかというと、なんらかの要因により、四肢を使った意思表出が難しい方(ALS,筋ジストロフィーなどの肢体不自由の方)が対象になってくるかと思います。なので、いわゆる障がいをもった方への支援機器であることをご理解ください。

そして、この技術を使うことにより、100万以上する高額な機器(https://www.assistivetechnology.cfbx.jp/kinta/2021/11/18/25342/)を使わずに視線入力を行うことが可能になります。また、視線入力は、今まで主にPCでしかできなかったため、顔と視線入力装置（赤外線センサー）の位置関係上、PCを固定することが大変だったのですが、iPadを使うことにより、固定が簡単に行える(https://sam-eatlab.blog.jp/archives/13404826.html)ようになります。安いものは、Amazonで1000円台で売っています。

今回のアプリでは、本当に簡単なアプリしか作成しませんでしたが、ニーズに合わせて、新たなアプリを作成していくことも計画しておりますので、皆様、今後ともよろしくお願いいたします🙂

なお、以下の点に注意してください。

①常時、フロントカメラを使用している。
②マスクをしていると使用できない（顔を認識できないため）。
③ARという最新の技術を使っている分、端末負荷は高い。
④古い端末では動かない場合がある。
⑤iPhoneよりiPadの方が使いやすい（顔を撮影、認識しやすいため）。
⑥なんやかんやで、慣れが必要。

以下、①〜⑥を解説していきます🙂✨

　①常時、フロントカメラを使用している。

こちらに関しては、ARを使い、フェイス・トラッキング（視線入力技術）を実現している以上、最低限、必要と思われるデバイス（装置）になります。フェイス・トラッキングの元々はPCと専用の装置(https://www.creact.co.jp/welfare/tobii-eyetrackers-02/pceye5/)で行われることが大半であり、iPhone,iPadで行われることはあまりなかったのですが、2018年ごろから、この技術を使い、視線入力のアプリが少しずつ作られるようになってきました。しかし、当時は、対象となる端末が少なかったため（④で後述します）、この技術は廃れていきました。が、iPhone、iPadで視線入力を行えるようにしてほしい（特にiPad)というニーズは多く、自分もいつか機会があれば作ってみたいと思っていた訳です。

前置きが長くなってしまいましたが、常に正面のカメラで顔を撮影しています、ということをご理解ください。

　②マスクをしていると使用できない（顔を認識できないため）。

こちらは結構、重要なので太字で書きましたが、まだまだ、コロナの影響もあり、マスクをされている方も多いかと思います。よって、マスクをしたままアプリを使おうとすることもあるかと思いますが、マスクをすると、顔を正確に認識できない（AIがカメラで映された顔データを顔だと認識できない）ため、マスクをしたままでは使用できないことになります。ご了承ください。

　③ARという最新の技術を使っている分、端末負荷は高い。

ARというのは端末負荷がとても高いです。よって、アプリによっては、反応が悪くなったりすることがあります（お絵描きソフトでは色が変わらなくなったり、視線入力を受け付けなくなるなど）。その際はアプリを再起動(https://self.systems/faq/reboot.html)してください。

　④古い端末では動かない場合がある。

具体的にいうと、顔認証(FaceID)がない機種、もしくは、Apple A12 Bionic(https://ja.wikipedia.org/wiki/Apple_A12)が搭載される前の機種では動きません。なので、iPhone8やiPhoneSE（初代）、第7世代iPadでは動かないということになります。GIGAスクール構想で各学校に配布されたiPadは、恐らく第7世代iPadの可能性が高いので厳しいかもしれませんが、逆に最近発売されたiPhone,iPadなら、何でも動くので、気にする必要はないのかもしれません。

　⑤iPhoneよりiPadの方が使いやすい（顔を撮影、認識しやすいため）。

これは単純に画面の大きさの問題ですが、画面が大きい方が顔を撮影、認識しやすいので、iPadの方が向いているアプリになります。

　⑥なんやかんやで、慣れが必要。

これも重要なことなので太字で書きましたが、使用に際して慣れが必要になってきます。というのも、視線入力で何かをするアプリというのは大半の人にとって初めての経験だと思うので、「視線入力のアプリを使うお作法を知らないといけない」ということです。なので、一つのアプリに慣れれば、多分、どのアプリも使いこなせるようになる（はず…）と思っています。

以上、６項目上げさせて頂きました。こちらの項目を十分にご理解頂き、以下の使い方をご確認ください🙂✨

２、アプリの使い方

１、端末の位置について（全アプリ共通）

アプリの使い方で一番重要となってくることが、端末の位置になります。具体的には、「端末は、基本的に真正面の向きでしか使えない」ということです。これは言い換えると、「端末を置いて覗き込むような使い方はできない」と言うことです。

図で説明すると   

要は、洗面台にある鏡と同じように、カメラが真正面を向き、顔を常に認識できる使い方をしてください。ということになります。また、端末と顔の距離ですが、端末と顔の距離を30cm程度離してください。顔をどアップにしても、遠過ぎても認識しません。あと、当然ですが、フロントカメラを手で覆うなど、使用できない状態にしないでください。

また、初めてアプリを使う人によく見られるのが以下のような使い方なのですが、
この姿勢もNGとなります。

なので、寝た状態で使用する場合は、以下のような姿勢で使用してください。

顔に対して真正面に端末をセットするということをご理解ください。

２、首を動かすか、目を動かすか（全アプリ共通）

これも良く質問がくるのですが、結論言えば「首を動かす」で大丈夫です。最終的には目で動かせるようになれば一番良いのですが、試しに使う分であれば首を動かすことが負担が少ないので、首を動かしてください。

３、視線で話そう！伝えよう！EyeCommunication！！の遊び方

ようやく、アプリ本体の解説になりますが、このアプリはVOCA(Voice OutPut Communication Aid：音声出力型コミュニケーションエイド)アプリになります。なお、画面上には表示されておりませんが、このアプリも常にカメラを使用しておりますので、マスクを外して、顔がしっかりと映るように端末を真正面にしてください。また、このアプリは横向き（左下）限定です。なお、まれに視線入力が効かなくなる場合（青い丸が動かなくなる）は基本的には処理落ちしていますので、アプリの再起動(https://self.systems/faq/reboot.html)をしてください。

このアプリは、iOSの自動音声読み上げ機能を使っておりますが、マナーモードでは音が出ません。音が出ないと思ったら、まず、音量、及び、マナーモードを確認してください。

アプリの概要は、左右それぞれに写真と文字がセットできるようになっており、それぞれの枠を一定時間（数秒）見ると、セットした文字列が自動で読み上げられるアプリとなっています。

ボタンは左右それぞれ２つずつあり、
①「写真変更」
②「文字変更」
となります。
①「写真変更」は、押すと写真アプリが開き、画像をセットできます。
②「文字変更」は、押すと文字が変更でき、新しい文字列がセットされます。

また、このアプリは、視線入力速度（凝視時間）を変更できます。スライダーを左にすればするほど、速度が速くなります。

2023/08/30追記
ver1.3をリリースしました。
修正した写真や文字を保存できるようにしました。
以下、概要を説明します。
1,「修正を保存」ボタンについて
・モーダルウィンドウでリストが表示されます。
2,リストについて
・左枠に左側の文言、右枠に右側の保存した文言が表示されます。
・リストを右側にスワイプすると、削除できます。
・選択したリストをタップすると、元の画面に戻ります（リストの画面は閉じます）
3,「変更を保持」ボタンについて
・現在の画面にセットされている写真と文言を保存します。その際、「変更を保存しました」というダイアログが表示されます。
なお、保存に時間がかかる場合、OKを押しても反応が無い場合があります。その際は、しばらく待ってから再度OKを押してください。
4,「初期値に戻す」ボタンについて
・初期画面に戻ります。ただし、リストのデータは残ります。リストの中身を完全に消したい場合は、一行ずつスワイプして消すか、再インストールしてください。
2023/10/13追記
ver1.33をリリースしました。
顔有り、顔無しを変更できるようになりました。

３、最後に

私の取り留めのない説明を最後まで見て頂き、本当にありがとうございます🙂✨
どうもありがとうございました〜！🙂✨

2023/10/23 追記
GIGAスクールのiPad端末ですが、私の学校では第8世代だったため、しっかりと動きました。設定画面で確認できますので、ご確認ください。(https://www.ipodwave.com/ipad/howto/model_name.html)