Firolauss ホワイトペーパー抜粋まとめ

みなさま、こんにちは。
ssszzzです。
2月29日に Neurolancheが手掛ける AIプロジェクト、Firolaussのトレーラー解禁が予定されています。
それに先立って、最低限これくらい知ってたら楽しめるよね、って部分をホワイトペーパーより抜粋します。
技術的なところよりも、ユーザー目線の部分を抽出しました。
ところどころでssszzzコメントとして、僕のまとめや視点も追加しています。

AIの歴史や、Firolaussの中での入力からフィードバックまでの機序、アイデンティティについての考察などの説明は省いてあるので、細かいところまで知りたい方はこちらより読み込んでみてください。
( https://neurolanche-x-labs.gitbook.io/firolauss-ai/ )

①Firolauss ってそもそも何？？

Neurolanche X Labsが開発した高度な人工知能アプリケーション。
人間の行動や感情、および社会文化的な面を理解するように設計されている。

※ssszzzコメント※
人間の微妙な表情(苦笑いとか噓をつく時の目線の動きなど)や感情を理解できるというのは実はかなり高度で、他のAIプロジェクトとの差別化の点でもあります。
感情は模倣と環境によって学べるという仮説を立てています。

②Firolauss についておさえておきたいポイントは？

①Unreal Engine 5で設計されている。(Metahumanテクノロジー)
→かなりリアルなアバターを細かくカスタマイズできて、もちろん人のように動きます。
②ブロックチェーン技術と統合
③OpenAIの技術を用いている
④人間の行動や感情、および社会文化的な面を理解する

③Firolauss の目的は？

健康、教育、ゲーム、最終的にはもっと多くの分野において、高度な人工知能アシスタントをユーザーに提供すること。

※ssszzzコメント※
様々な分野において、個人に合わせて助けてくれるSiriみたいなイメージですね。例えば「英語の勉強をしたい」といえば「あなたはこの文法が苦手だからそこを重点的に復習しましょう。まずは、、、」みたいな感じですね。

④AIが「知覚」し、それを感情などの「精神的なプロセス」に繋げる仕組みとメリットは？

AIシステムに知覚のための「心の理論」を統合することによって獲得する。
細かい仕組みについて興味がある方はこちらからどうぞ。
( https://neurolanche-x-labs.gitbook.io/firolauss-ai/firolauss-fai-dapp )

人間の感情の基礎を掘り下げると、感情は環境要因と模倣の結果として学習された行動であることが観察される。

親が何かを怖がれば、私たちはそれが危険なものだと学び、誕生日プレゼントなどのサプライズから幸せを学び、幼少期の悲しみや喪失感から悲しみを学び始める。これを外部からの介入によって実現しようということです。

そうすると、AIも、直感的に、共感的に、そして人間の行動のニュアンスを理解して反応できるようになる可能性がでてきます。

AIアルゴリズムは、機械学習やニューラルネットワーク、またこれに着想を得たディープラーニングなどの高度な技術を駆使して、従来の分析手法では見逃してしまうような情報を特定し、大量のデータを処理する上で卓越した能力を発揮することができる。

企業や研究者の意思決定プロセスを加速させるだけでなく、人間が見落としてしまうような微妙な洞察も見つけ出せるかもしれない。
AIで代替できる部分を任せることでリソースを他に割くこともできるし、ヒューマンエラーやバイアスを最小限に抑えるため、データの精度を高め、強固で統計的な基盤に基づいた意思決定もできるようになる。

※ssszzzコメント※
バイアス(先入観)がなく、間違えることもない、それでいて膨大な情報を一気に処理できるAIの機能に加えて、人間の感情や行動を理解して共感的にアドバイスをしてくれるような「人間っぽい」パートナーが増えるイメージですよね。人間らしさを与えるために、僕たちが成長してきたうえで自然と受けてきたような環境からの入力を人為的に行おうという事。

文化的な違いやハルシネーション、プライバシーなど、様々な課題は控えていると思いますが、これも膨大なデータ入力やブロックチェーン技術との統合によって解決できるのではないかと、個人的には思っています。

⑤そもそも人間はどの情報で相手の感情を理解してる？

ホワイトペーパーでは以下の10項目に注目しています。

1- 表情
2- ボディランゲージ：
例えば、腕を組むことは防御や不快感を表し、ボディランゲージをオープンにすることは受容を意味する。
3- 声とトーン：
声のトーン、強調、声の大きさ、話すスピードの変化は、興奮、悲しみ、怒りなどの感情を伝えることができる。
4- 言語表現：
直接的な発言、具体的な語彙の使用、全体的な語調は、感情状態に関する情報を提供する。
5-文脈と状況認識：
状況を理解することは、感情を正確に解釈するために不可欠である。同じ表情でも、環境条件によって異なる感情を表すことがある。
6- 共感と視点の取り方：
共感とは、他人の感情を認識し理解することで、多くの場合、相手の立場に立って考える。人は自分自身の感情的経験を用いて、他者の感情状態を推測することができる。
7- 文化的・社会的規範：
文化的・社会的要因は、感情がどのように表現され、解釈されるかに影響を与える。文化が異なれば、感情の表現や解釈に関する規範も異なる。
8- 生理的シグナル：
心拍数の増加、発汗、皮膚伝導率の変化など、これらの変化は、感情状態についてのさらなる手がかりとなる。
9- 文脈的手がかり：
環境、個人間の関係、過去の経験など、文脈上の手がかりも感情の解釈に寄与する。例えば、笑顔は社会的な文脈の中で異なる意味を持つことがある。
10- 直感と内なる感情：
時に、明示的な指標がなくとも、他の人の感情を感じ取ることができる。

人間はこれらの情報を元に、自分や他人の感情状態を分析する。AIが人間と比較してこれらを処理する方法の違いは、本質的に生物学的環境と人工的環境にある。

⑤じゃあAIはどの情報で相手の感情を学習する？

1-データ分析：

AIシステムは、人間の感情を含む大規模なデータセットで訓練することができる。これらのデータセットには、テキスト、ビジュアル、オーディオ録音、またはそれらの組み合わせが含まれ、関連する感情を示すラベル付けされた情報が含まれる。

2-自然言語処理（NLP）：
テキストベースのデータにおいて、NLPアルゴリズムは言語分析を行い、感情の状態を推測することができる。感情分析は一般的なアプリケーションであり、書き言葉や話し言葉で表現された感情状態を判断する。

3-顔認識：

AIは、さまざまな感情に関連する顔の表情を認識するように訓練することができる。これには、口の形、目、眉毛などの顔の特徴を分析して、人が喜んでいるか、悲しんでいるか、怒っているかなどを推測することが含まれる。

4-音声分析：

トーン、ピッチ、その他の声の特徴を分析することで、AIシステムは音声から感情の状態を推測することができる。
5-生理的シグナル：

AIシステムの中には、心拍数や皮膚伝導率などの生理的信号を用いて感情状態を推測できるものもある。ウェアラブルデバイスやセンサーは、このような分析のためのリアルタイムのデータを提供することができる。

6-文脈の理解：

特定の単語や表現が使用される文脈を理解するように学習することで、会話の感情的なトーンをより適切に解釈することができる。

7-フィードバック・ループ：
AIシステムは、ユーザーからのフィードバックや修正を通じたフィードバック・ループを利用することで、時間をかけてより正確に感情を認識し、対応する能力を向上させることができる。

※ssszzzコメント※
個人的には7のフィードバックが重要だと思っています。
まずは膨大なデータとそれに対する膨大なフィードバックを学ばせること。
人間もそうですよね？
例えば同じ「笑顔」という表情でも、この状況の時の、この声のトーンの時の、この文脈においての笑顔は「本当に嬉しいときの笑顔」だけど、少し変わると「愛想笑い」にもなるし、「苦笑い」にもなる。「馬鹿にしたような笑い」もあるかもしれない。
じゃあ僕たちはそれをどうやって感じ分けるかというと、経験ですよね。
AIにも同じように経験させなきゃいけないわけです。それも僕たちは生きてきた期間ずっと学んできたわけだけど、短期間で学ばせなければならない。
それだけ大規模な試みだと考えています。

⑥まずは何においても、テスト＆エラーが重要です。

近い将来、AIアプリケーションをローンチし、デモ版の運用を行います。
ここから得られたデータを用いて様々なテストを行い、人間の感情行動データと比較し、FirolaussAIモデルがどれだけ効果的に機能するかを分析する予定です。

※ssszzzコメント※
どんな分野においてもそうですが、研究は仮説を立て、これに基づくテストを行い、結果をみて考察し、改善して再度テストをして、、というのを繰り返していくことが重要です。
個人的にはこのプロセスによってAIに一通りの感情が完成するまでは、皆さんが想定するより(さらに言えばコアチームが想定しているより)長い時間がかかるだろうなと思っています。そして、永遠に続くプロセスだとも思います。
今回は「感情は環境や模倣によって獲得できる」という仮説に対して、まずはデータを集めるところから始まります。
参加してくださる皆さんは、壮大な研究のチームでもあるのです。

⑦Firolaussは具体的にはどんな使い道があるの？

1-デジタルツイン

Metahumanアドオンを使用して独自のデジタルツインを作成できるようにしており、これらのデジタルツインと口頭でコミュニケーションをとることができる。
ChatGPT 4.0でサポートされているすべての拡張機能にアクセスできます。

※ssszzzコメント※
僕もchatGPT課金ユーザーですが、これを全てサポートするのはかなり大きいです。返答が3.5と比較して雲泥の差です。ここで拡張機能と書かれているのはおそらくプラグイン機能やダルエー機能のことだと思います。プラグインというのは、chatGPTに何か特化した機能を追加する機能だと思っていいです。例えばホームページの要約、動画の要約、PDFの要約、限定的ではあるけど投資のアドバイス、他にもたくさんの機能があります。ダルエーは画像生成機能ですね。一般にはまだローンチしてませんがsoraという短時間の動画生成機能は盛り上がっていますよね。
これらすべてにアクセスできるのは大きいです。
少なくともchatGPTの月額20ドルを払い続けるよりコスパもいいのではないでしょうか。

2-健康分野では

Firolaussでは、ユーザーのスマートウォッチ(Apple Watch、Galaxy Watchなど)から取得したデータを使用してデジタルアシスタントを開発する予定です。
これらのデジタルヘルスアシスタントは、毎日の健康データに関するフィードバックをユーザーに提供し、睡眠パターン、食生活、身体活動などの領域を支援します。

a.スマートウォッチの統合:
ユーザーは、デバイスから得られたデータを使用して、毎日の運動条件を追跡し、それについてアドバイスを受けることができます。

b.パーソナルスポーツコーチ:
Firolaussアプリを介して提供されるデータを通じて、ユーザーは人工知能からパーソナライズされたコーチングサポートを受けることができます。

c.パーソナライズされた患者ケア:
Firolaussは、患者のデータ、健康状態、および現在の健康状態を分析することにより、高度にパーソナライズされた医療サービスを促進できます。
治療計画、薬物管理、およびレジュメの作成を支援できます。

d.バーチャルヘルスアシスタント:
Firolaussは仮想ヘルスアシスタントとして機能し、患者に情報、投薬のリマインダー、健康維持のヒントを提供します。リハビリテーション運動やウェルネスルーチンを通じて患者を導くことができます。

e.データ管理と分析:
医学研究と診断では、フィロラウスは膨大な量の健康データを処理でき、パターン、診断、および治療の選択肢の特定に役立ちます。学習して進化するので、患者の健康に対するより正確な予測と洞察につながる可能性があります。

f.インタラクティブな健康教育:
患者の健康状態、治療、健康的な生活習慣について教育するために使用できます。インタラクティブで魅力的な教育コンテンツを提供し、複雑な医療情報によりアクセスしやすく理解可能にします。

g.診断精度向上:
より正確な診断と効果的な治療のためのAIの活用。

h.患者関与の改善:
パーソナライズされた相互作用により、健康計画の遵守が向上します。

i.効率的な健康モニタリング:
リアルタイム追跡、特に慢性状態にとって重要です。

j.医学研究の進歩:
効果的なデータ分析による医学研究の加速

※ssszzzコメント※
ここについては課題も多いかなと思う。スポーツコーチくらいまでなら応用までそこまでかからないかもしれないけど、投薬の管理だとかはもし何かあった時の責任の所在が難しいから。でも、経験則に偏りがちなドクターに別の視点を与えたり、マイナーなシンドロームについても教えてくれるだろうから、あくまで補助として使う感じであればとても便利だと思う。

3-教育分野では

Firolaussでは、教育セクターにおける学生の学習スタイルを分析することにより、パーソナライズされたデジタル教師を設計することを目指しています。これには、教育と発達心理学の科学的知識を使用します。

a.パーソナライズされた学習: 
個々の学生のニーズに合わせた学習体験を可能にします。学生の学習スタイル、パフォーマンス、好みを分析し、それに応じて教育コンテンツと教育方法を適応させることができます。

b.インタラクティブな教育コンテンツ:
興味を惹くような教科書やシミュレーションなど、インタラクティブで没入型の学習教材を提供する。これらのツールはによって特に複雑な科目でも、学習をより魅力的で効果的なものにすることができます。

c.家庭教師とサポート:
デジタルチューターとして機能し、学生に追加のサポートとガイダンスを提供できます。彼らは質問に答え、説明を提供し、フィードバックを提供し、学習プロセスを強化することができます。

d.学生の関与と動機:
学生の関与と意欲を維持できます。彼らは、学習をより楽しくやりがいのあるものにする、ゲーム化された要素やインタラクティブな課題を導入できます。

e.理解と保持の強化:
パーソナライズされたインタラクティブな学習体験を提供することにより、学生が情報をよりよく理解し、保持するのに役立ちます。

f.アクセシビリティと包括性:
FAIは、教育をよりアクセスしやすく包括的にし、多様な学習ニーズとバックグラウンドを持つ学生に対応できます。彼らは多言語サポートを提供し、さまざまな学習障害に適応することができます。

g.継続的な進捗追跡:
学生の進歩を長期にわたって追跡し、教育者や学生に貴重な洞察を提供できます。このデータを使用して、教育戦略を調整し、学生が追加の支援を必要とする可能性のある領域を特定できます。

h.教育の未来:
FAIは教育の未来に向けた一歩を表しています。そこでは、学習は情報を吸収することだけでなく、有意義な方法でそれと相互作用することについてもです。彼らは、批判的思考、問題解決、適応能力を育成することにより、急速に変化する世界に向けて学生を準備することができます。

教育のFAIは、より適応的で、魅力的で、パーソナライズされた学習体験を提供します。

※ssszzzコメント※
これについてはかなり魅力的かなと思う。現状、集団に対して教育をしていくわけだから、個人に合わせた教育というのは難しくて、一元的になりやすい問題があると思う。それを完全にパーソナライズされた教育が提供されるなら個々の特徴を最大限伸ばせる良い環境が整うと思う。ずっと継続的に追っていくから、得意不得意も分かるし、もしかしたらその生徒に適した職業の提案すらできるかもしれない。面白い。

4-ゲーム分野では

Firolaussを使用して、収集したデータを使用して、人間の行動や感情を持つAI NPCを作成します。これは、MetaverseおよびGameFi領域で、ゲーム業界に革命を起こす。
※補足※
NPC→プレイヤーが操作しないキャラクターのこと。

a.キャラクター開発:
プレイヤーが相互作用するキャラクターの進化とカスタマイズを可能にします。AI統合のおかげで、これらのキャラクターはプレイヤーの好み、行動、ゲーム内の決定に基づいてパーソナライズされます。

b.ダイナミックストーリーテリング:
FAIベースのキャラクターは、各プレイヤーにユニークなストーリー体験を作成できます。これは、プレーヤーの決定とアクションに応じて変化する、よりダイナミックなストーリー展開を提供します。
(→プレイヤーの好みに合わせた色んなストーリ展開のゲームが楽しめるという事です。)

c.インタラクティブおよびラーニングNPC (非プレイヤーキャラクター):
FAIをゲーム内NPCに応用することで、そのキャラクターはリアルタイムでプレイヤーと対話し、学習し、時間とともに進化できるため、各プレイヤーに独自の体験を提供します。

d.ゲーム内経済:
プレーヤーは、独自のiNFTベースの資産またはキャラクターを作成することにより、経済を購入、取引、または貢献できます。

e.メタバースへの応用:
メタバース内の相互作用と経験を強化する上で重要な役割を果たします。

f.豊富な社会的相互作用:
これらのNPCは、ユーザーとリアルタイムで意味のあるやり取りを行うことができます。彼らはユーザーの行動や好みに反応し、それに応じて反応します。

g.学習と進化:
インテリジェンスNPCは、ユーザーのやり取りから学び、時間とともに進化し、各ユーザーに独自のエクスペリエンスを保証します。

h.ストーリーとゲームプレイのダイナミクス:
これらのNPCは、メタバースのより没入型でパーソナライズされたストーリーとゲームダイナミクスに貢献します。ストーリーは、ユーザーのアクションと選択に基づいて進化できます。

i.パーソナライズされた経験:
インテリジェンスNPCは、各ユーザーの好みと過去の相互作用に基づいて、パーソナライズされた経験を提供します。

j.現実世界の職業のエミュレーションと新しいメタバースロール:
仮想教育者、デジタルカスタマーサービスエージェント、仮想ツアーガイドなどの実際の職業をエミュレートでき、伝統的に人間が行うサービスを提供します。また、デジタルイベントプランナーやコンテンツ作成者など、メタバース固有の独自の役割への道を開きます。彼らの高度なAIは、適応可能で革新的な職務を可能にし、デジタル雇用の地平を拡大します。

k.パーソナライズされたサービスの提供とサポート: インテリジェンスNPCは、学習能力と適応能力により、パーソナライズされたサービスを提供するのに優れています。これは、教育や小売などの分野で特に変革的であり、カスタマイズされた個別指導や買い物支援を提供できます。さらに、反復的なタスクを処理し、さまざまなアプリケーションの効率を高めることにより、人間の労働力をサポートし、メタバースのデジタルエンティティを認識して操作する方法の変化を示します。

※ssszzzコメント※
重複した内容が多いから簡単に要約すると、
ゲームの中のキャラクターは、決まった返事しかしなかったり、決まった動作しかしなかったけれど、AIを導入することで、ゲームプレイヤーとのやりとりを通じてそのプレイヤーに合わせた返事やストーリー展開をするようになって、より魅力的なゲーム体験をできますよ、という意味です。
そしてそれはメタバースにも応用出来て、そこでは現実の職業を模倣したようなキャラクターさえ実現可能で、例えばメタバースの英語学校で英語の勉強をする、とかもできるかも、ってことです。

最後に

ここまで長文を読んでいただきありがとうございました。
具体的にどんなことに使えるのかについて、少しでも皆様の認識を拡張出来ていたら嬉しいなと思います。
AIは今後の潮流です。
分かる人分からない人で格差が出来ることは間違いないといわれています。
日本で初代iPhoneが発売されたのは2008年。
15年近く経つと、新しい技術もこんなにも浸透するものなんです。

この大きな波に乗り遅れず、一緒に楽しんでいけたら幸いです。