新しい働き方には新しい見守り方を。表情分析AIでリモートワーカーのメンタルヘルスを守る「INNER FACE™」
新型コロナウイルス感染拡大をきっかけに働き方に大きく変化が見られ、リモートワークを導入する企業が増加。メリットもある一方で、リモートワークでは従業員の変化を察知しづらく、メンタルヘルスケアに課題を感じている企業は少なくありません。またOECD各国でのコロナ前後でのうつ病・うつ状態の全国推計値を見ると、うつ病・やうつ状態の患者数は世界的にも増加傾向です。そこで電通デジタルでは、表情分析AIで感情推移を把握し、リモートワーカーのメンタルヘルス状態の可視化をサポートする「INNER FACE™」を開発。今回は、プロジェクトの企画担当である川島優香、開発担当の畑雄樹、全体進行担当の安永葵に話を聞きました。なぜプロジェクトが立ち上がったのか、果たしてその道のりとは？
関連記事はこちら
・世界初となる「Webカメラを利用した連続的な表情分析システムによるリモートワーカーのメンタルヘルス研究」を産学共同で開始 －メンタルリスクを回避する表情分析AI「INNER FACE™」を開発－
実体験から始まったプロジェクト
－「INNER FACE™」とはどのようなプロジェクトなのか、簡単に教えてください。
川島：2022年5月に立ち上がったプロジェクトで、世界中で普及した新しい働き方「リモートワーク」によって起こるメンタルヘルスを把握しづらい、という課題に対し、表情分析AIを使って従業員の新しい見守り方をデザインしました。PCのWebカメラを通じ、リモートワーカーの表情を1秒に1回、1日に約3万回のスパンで分析することで、自身のコンディションをリアルタイムに把握することができます。
国際広告賞である「MAD STARS 2023（2023釜山国際マーケティング広告祭）」では、62カ国から2万282作品のエントリーがあった中で、 Data Insight「クリスタル」を受賞しました。現在は、実証実験を重ねて産学共同で研究を進めている最中です。
関連記事はこちら
・「MAD STARS 2023」にてクリスタルを2部門で受賞 －AI技術を活用した「ロゴで応援！People-Sponsored Logo」と「INNER FACE™」－
－メンタルヘルスの課題とは、具体的にはどのようなものですか？
川島：新型コロナウイルス感染拡大の影響で、日本のみならず世界的にうつ病・うつ状態になる方が増加しています。また月刊総務が2020年に実施した調査によると、リモートワーク環境の浸透に伴い、従業員のメンタルヘルスケアに課題を感じている企業の割合が70％以上と、従業員も企業も大きな課題を抱えていることがわかっています。
－たしかにリモートワークの場合、出社に比べて他者とのコミュニケーションが減り、気持ちがふさぎがちになる傾向がありますね。
川島：そこで、メンタルヘルスのサインとして「表情」を活用できないかと考え、このプロジェクトが始まりました。
「INNER FACE™」で表情分析をし、その結果を確認することで、自分の感情推移を客観視できる仕組みとなっています。
－表情分析は、どのような仕組みで行われているのですか？
畑：表情イメージから感情を推論する機械学習モデルで実現しています。学習モデルには、画像から表情を学習するFAR-2013などのデータセットと学習効率を向上する畳み込みニューラルネットワーク（CNN）、実行にはTensorflow.jsを活用しています。これによりフロントエンド側で、エクマン理論に基づいた「怒り」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」の6つに「平常」を加えた7つの感情に分類し、データ化しています。
畑：分析結果を見る画面では、曜日別で時間帯による表情変化が視覚的にわかるようになっています。今はそのデータを福島学院大学・早稲田大学の心理学・人間科学の専門家に共有しつつ、研究を重ねている段階です。
－他の曜日との比較もあると、よりわかりやすいですし、楽しく見ることができますね。そもそも、なぜこのようなプロジェクトを立ち上げようと思われたのですか？
川島：もともとはソーシャルプロジェクト（電通デジタルが行っている、デジタルテクノロジーとクリエイティブを活用し、さまざまな社会課題の解決に取り組む活動）のアイデアを何か出せないかと話していたのが発端でした。その中で、メンタルヘルスケアの課題解決を目指すアイデアが出たのです。
また私の周りのリモートワーカーが、在宅勤務が続くことでメンタル的に落ち込んでしまっていたこともあり、そういう人を救うきっかけになればという思いから、プロジェクトがスタートしました。私自身もリモートワークで無表情が続いたり、気分が沈んでしまったりすることもあったので、なんとかできないかなと思ったのです。
安永：働き方が変化したならば、従業員のメンタルヘルスをどのようにサポートすべきか、新しい見守り方について考える必要があると思います。
うつ病の方は表情に特徴が出ると聞いたことがあり、表情を分析すればメンタルヘルスケアに役立てられるのではないかと考えました。現状のテクノロジーで調べられるすべての表情をデータとして蓄積し、研究資源として活用していく方向性で進めています。現在は1,550万以上の表情分析データを取得し、研究者の方と連携をとって相関関係を明かすフェーズです。
表情データが自分自身を把握するきっかけに
－実証実験の際に、利用された方から寄せられた声で印象的なものがあれば教えてください。
安永：自分の表情を見つめ直すきっかけになったというポジティブな反応をいただきました。「私、こんな表情をしていたんだ」などと、雑談のネタにもなり、副次的に笑顔が生まれていたのが印象的でした。データをきっかけに表情を改善しようという気持ちになってもらえたことは、大きな手応えかなと感じています。
川島：私が体験しての実感ですが、やはり自分の表情を客観的に見ることでメンタルヘルス改善に大きく役立つと感じましたね。この曜日は定例会議があるから笑顔が多い、この曜日は作業が多いのであまり表情の変化がない、といったように自分を把握するきっかけとなりました。
－プロジェクトを進める中で大変だったことがあれば教えてください。
安永：チャレンジングな研究プロジェクトなので、自分たちで開拓していく必要があるのはとても大変でした。いつもはクライアント企業のやりたいことをどう実現させるかを考えます。しかし今回は、クライアント企業がいたわけではありませんし、自分たちのやりたいことをどのようにカタチにしていくかという点も難しいところでした。また学校や研究所という、いつもと異なるステークホルダーの方々と共同で進めているため、進行管理や彼らの希望をどのようにくんで進めていくのかについても考える必要がありました。
川島：利用される方が監視されていると感じないように、心理的障壁を削減するのもひとつの課題でしたね。従業員の安全を守りたいという気持ちと監視されたくないという従業員の気持ちを、どう折衷させるかは検討を重ねました。CXを意識して考えた結果、「INNER FACE™」では映像データを一切取得・保存せず、デスクトップ上で数値化された表情データを利用して分析する形にしています。
あとはプロジェクトとそのデータをどのように活用して社会実装するかも難しいところですね。これからの課題として、その土壌をしっかり作らなくてはいけないと考えています。
基盤を固めて、新たなチャレンジへ
－「INNER FACE™」の今後の展望を教えてください。
川島：今はまだ始まったばかりということもあり、これからも丁寧な検証を続けていくつもりです。また、今回海外アワードで評価いただいたことに加え、すでに50以上のメディアにも取り上げられており、それらをふまえると、本プロジェクトは世界的にもメンタルヘルスケアの重要性を再認識するきっかけになると感じています。今後も新たなアワードの挑戦やグローバルな場にも進出していければと思っています。
ただ、まだまだリモートワーカーのメンタルヘルスケアは十分ではありません。自分のメンタルを見つめて打ち手を探す”新しい見守り”に「INNER FACE™」が役立つと思っているので、そうした形で新しい文化を作っていければいいですね。
安永：まだ見えていないところも多いのですが、今後もっと先へ進むとしたら、サービスとしてローンチすることも視野に入れる必要があります。教育機関で授業中の生徒の参加態度を見守ったり、企業の人事が従業員のメンタルヘルスを把握する一助になったりと、さまざまな活用が期待できると思います。現在は準備段階ですが、ありがたいことに企業からのお声がけもいただいているので、まずは基盤を整えていければと思っています。
畑：これは僕の野望ですが、今回のプロジェクトを元に電通デジタルのクリエイティブ発信の学習モデルを高いレベルで完成させて、そのデータを電通デジタル全体のクリエイティビティに参照できるようにしていきたいと思っています。そうなれば、より質の高いアウトプットができますし、もっとクリエイティブが楽しくなるはずです。
外部にも内部にもいい効果を波及させる事例となるべく、今後も「INNER FACE™」をもとにより精度を高めていきたいです。
【「INNER FACE™」他プロジェクトコアメンバー】
髙坂秋乃（エクスペリエンスプロデュース部門 ビジネスリード第2事業部）・細川萌（ブランドエクスペリエンスクリエイティブ部門 エクスペリエンスデザイン第1事業部）
＊ ＊ ＊
今回は、表情分析AIでリモートワーカーの感情推移を把握し、メンタルヘルスをサポートする「INNER FACE™」について話を聞きました。
働き方が多様化している現代において、リモートワーカーの新たな見守り方という視点は、CX的にも切実なインサイトだなと感じました。データがどのように結実するのか、非常に楽しみです。
プロフィール
ブランドエクスペリエンスクリエイティブ部門 エクスペリエンスデザイン第1事業部
早稲田大学人間科学部卒。2018年に電通アイソバーに入社、2021年にクリエイティブに異動。マーケティング領域〜クリエイティブ領域まで一気通貫した、人が動くクリエイティブプランニングを目指す。
主な受賞歴に販促コンペ2023 GOLD、LINE Planning Contest 2021 Finalistなど。
ブランドエクスペリエンスクリエイティブ部門 エクスペリエンスデザイン第3事業部
武蔵野美術大学卒。メディアアートを専攻し、自作のソフト・ハードを駆使した創作を行う。2022年に電通デジタルに入社。主な発表として、「テクネ 映像の教室 第３シリーズ－２ 「プログラミング」」、「インターネットヤミ市 東京 2016 ～買える力～」（※オクラちゃん名義）など。
エクスペリエンスプロデュース部門 ビジネスリード第１事業部
立教大学現代心理学部映像身体学科卒。2020年に電通アイソバー入社。デジタルプロモーションにおける施策進行管理を担当し、戦略立案、企画、設計構築、制作、レポーティングに携わる。特にX（Twitter）の運用、キャンペーンが得意領域。
主な受賞歴：Twitterグランプリ2022「ベストアカウント賞」
※所属・役職は取材当時のものです。