テンセントなど「DreamDiffusion」脳波で〇〇開発！？

技術の概要

清華深セン国際大学院、Tencent AI Lab、そしてPeng Cheng Laboratoryの研究者チームが、脳波を利用して高品質な画像を生成するAIモデル「DreamDiffusion」の開発に成功しました！！この論文では、人間の脳波（EEG）から学習し、画像を生成する能力を持つ新たな拡散モデルが提案されています！！

脳波とは？

人間の脳から画像を生成する研究は以前から行われていますが、多くは磁気共鳴機能画像法（fMRI）を用いたもので、高価で専門家の操作が必要という問題がありました！！しかし、脳波は脳の電気活動を非侵襲的に、かつ低コストで記録することができます！！また、簡単に取得することが可能なポータブルな市販製品も出ています！！

DreamDiffusionの特徴

「DreamDiffusion」では、脳波信号から事前に訓練したテキストを生成し、それを用いて画像を生成する「Stable Diffusion」モデルが活用されています！！しかし、脳波信号の利用は難しく、ノイズが多く、個々の脳波データの違いも無視できない問題があります！

モデルの構築

これらの問題に対して、研究者たちは3つのモジュールからなるシステムを構築しました！！1つ目は、ノイズの多い脳波データから情報を抽出するEEGエンコーダー、2つ目は、脳波と画像のペアを用いた微調整モジュール、そして3つ目は、EEG、テキスト、画像の空間を整列させるためのエンコーダーです！！

データの収集

本研究で使用されたデータは、6人の被験者が2000枚の画像を見ながら記録された脳波です！！ただし、画像は40の異なるカテゴリーから選ばれており、この40カテゴリーに限定されていることに注意が必要です！！

評価と結果

提案手法の効果を評価するために、類似の最新研究「Brain2Image」と比較した実験を行いました！！その結果、「DreamDiffusion」が生成した画像の精度は、「Brain2Image」を大きく上回ることが確認されました！！これにより、「DreamDiffusion」の有効性が証明されました！！

脳波から画像を生成するAI「DreamDiffusion」　テンセント含む中国の研究者らが開発

脳波から画像を生成するAI「DreamDiffusion」　テンセント含む中国の研究者らが開発：Innovative Tech - ITmedia NEWS