お掃除×プロジェクションマッピング
前回はお掃除の行動認識についてご紹介しました。「動き」を感知する加速度センサをモップに取り付けることで、お掃除をしているときの動きに関する情報を集めることができました。今回は、集めた情報を用いてユーザの行動を支援する取り組みについてご紹介します。
行動支援技術
行動支援、といって思いついたのは、光る電子ピアノです。曲のデータが入っていて、どの音を弾けばよいか、鍵盤が光る機能がついているものです。 光ると視覚的に次何をすればよいかわかるので、便利ですよね。
ユーザの行動を支援するための技術にも様々なものがありますが、当研究室では、プロジェクションマッピングによる行動支援の研究をしています。センサによってユーザの行動を認識し、その結果に応じてプロジェクタの投影光を変化させ、ユーザの行動を視覚的にサポートするような仕組みです。
プロジェクションマッピング
プロジェクションマッピングとは、プロジェクタから照射した光を、実世界の立体物にぴったり投影する技術です。とても綺麗な演出が可能なので、従来は人を楽しませる技術として主にエンターテインメントとして用いられてきました。テーマパークやイベントで、様々な催しをご覧になったことがある方も多いのではないでしょうか。近年では、プロジェクションを行動支援に応用する取り組みが進んでいます。
空間拡張現実感とは？
XR（クロスリアリティ）という言葉を聞いたことがあるでしょうか。XRとは、VR（拡張現実）、AR（仮想現実）、MR（複合現実）など、実世界とサイバー空間とを何らかの形で融合させ、新しい体験をもたらすような技術の総称です。その中で、プロジェクションによって実世界に情報を付加し、新たな体験を可能にする手法をSAR（Spatial Augmented Reality = 空間拡張現実感）と呼びます。現実世界に存在する物体に対してプロジェクタ光を投影することで、例えばその質感や色を変えて、本来とは異なる見え方・感じ方をさせることができます。
本稿でご紹介するのは、このSARに分類される技術です。
お掃除×プロジェクションマッピング
ダスキン社と共同で、「ユーザが、どこで、どんな行動をしたか」を認識して、「次にどう行動すると良さそうか」をリアルタイムにプロジェクションで示唆する、「お掃除×プロジェクションマッピング」の研究に取り組んでいます。百聞は一見に如かずともいいますので、ぜひ動画をご覧になってください。
システムの仕組み
お掃除をしてお部屋が綺麗になるだけでなく、光が見た目にも美しくて楽しそうですね！ さて、このシステム、どのような仕組みになっているのでしょう。使用している機器は、以下の図のような配置になっています。
左：加速度センサとLiDARで情報を集める 右：結果をもとに投影内容を変化させる
本システムは、加速度センサとLiDARとプロジェクタから構成されています。加速度センサを用いて加速度データを取得することで、「どんなお掃除行動をしたか」を推定します（詳しくは前回の記事をご参照ください）。LiDAR（Light Detection And Ranging）は、「どこで」の情報を得るために使っています。光を照射して、反射光が返ってくるまでの時間から距離を測定する技術です。私たちが普段使っているスマートフォンにも搭載されていますし、自動車の自動運転などでもよく利用されています。加速度センサとLiDAR、これら2種類のセンサを用いて、「どこで、何をしているか」をリアルタイムにセンシングします。つまり、モップを使用しているその瞬間の動きを測定、感知して情報を集めます。その結果に応じてプロジェクタから投影する映像を変えるのです。ちなみに、カメラを用いる手法もありますが、カメラを使いにくい場面もあるので、本研究では使用していません。
どういうプロジェクションをしているの？
プロジェクタから投影する映像は、どのようになっているのでしょう。今回の動画では、お掃除の練習用のコンテンツとして、大まかには以下の図のような映像が最初に投影されます。
この映像では、４つのエリアに分かれています。①エリアでは「押して歩く」動き、②エリアでは「軽くこする」動き、③エリアでは「掃いて止める」動き、④エリアでは「（家具の後ろなどへ）滑り込ませる」動きをする状況が設定されています。各エリアに対応する適切な動きを十分に行うことで、床に投影される光の色が変わるようになっています。
これらは今回技術的な内容を分かりやすくするために作成した練習用コンテンツですので、場所や状況によって求められる本来の動きとは異なる場合があります。
押して歩く動きは、前回でも取り扱ったように、モップを使う時の身近な動きですよね！その他にもいくつか生活の中で想定されそうな動きを練習用に設定してみました。図中の波形は、加速度センサから集めた時系列データをグラフにしたものです。動きによって異なる特徴があるので、動きを見分けられます。このように、データを集めて判断した結果を踏まえて、プロジェクションに投影指示する仕組みなのですね！
このように、適切な動き方を示唆したり、上手く動けているのかをリアルタイムに提示したりすることで、楽しく、効率的にお掃除をすることができます。また、見た目も綺麗で嬉しくなりますし、色が変わることで達成感も得られ、お掃除のモチベーションを高めることができます。本研究の成果は、SIGGRAPH2022でポスター発表という形で公開しました。
今後の展望
研究室のメンバーで体験会を行いました。スタッフも一度参加させていただいたのですが、床が光って綺麗で楽しかったです。普段お掃除は後回し、ホコリは見ないふりをしてしまうのですが、テーマパークのアトラクションのように楽しく取り組むことができました。今後は、もっと上手に、かつ楽しく動けるように、コーチングするような技術にも取り組んでいきたいと考えています。プロジェクタに関しては、エプソン社にご協力いただき、より専門的に踏み込んだ取り組みをして行く予定です。
展示会でもデモ体験ができますので、みなさまぜひいらしてください。10月26日～28日に幕張メッセで開催されるAI・人工知能EXPO秋という展示会に出展します。
https://www.nextech-week.jp/autumn/ja-jp/exhibit/ai.html
読んでくださり、ありがとうございました。
この記事が気に入ったらサポートをしてみませんか？