脳波で言葉や聞いている音楽を理解するーー最新「脳波と音」の研究紹介
2023.2/10 TBSラジオ『荻上チキ・Session』OA
creenless Media Lab.は、音声をコミュニケーションメディアとして捉え直すことを目的としています。今回は、音や発話の観点から最新の脳波研究を紹介します。
◾口の筋肉の神経活動から、発話する文章を理解する
脳波については2019年、米カリフォルニア大学サンフランシスコ校等の研究者たちが、脳波を読み取ることで、発話しようとする内容を理解する研究についてお伝えしました。この技術は、言葉を発するのが困難な人の脳波を読み取り、合成音声機能を用いることで声を発さずにコミュニケーションする技術として期待されています。
その後も同大学を中心とした研究チームは、脳波研究を続けています。2021年の研究では、脳卒中によって発音が困難になった被験者の脳に電極を埋め込み、被験者の脳波から、発話を意図した際に喉頭や舌、唇の筋肉を動かす神経活動をモニタリングします。
https://www.nejm.org/doi/full/10.1056/NEJMoa2027540
そして「お腹が減った」や「のどが渇いた」等、50のリストの中から被験者が選んだ文章を脳波から生成し、実際に合っているかを検証しました。全部で22時間におよぶデータを分析した結果、1分間に15.2語の単語を理解し、誤りの中央値が25.6％。つまり75％程度で文章を理解できました。
発話の際の筋肉の動きから言葉を理解するという試みは、文章を作成する、つまり文章をタイプする脳波の読み取りよりもはやく言葉を生成できる可能性があります。もちろん、今回は50の言葉のリストの中から選んだものであり、まだまだ市場で利用できるレベルではありませんが、脳波による言葉の生成分野も、着実に研究が進んでいます。
さらに、2023年には米スタンフォード大学の研究者が、電極を挿入するのではなく、外部装置等から脳波を検知する方法（BCI:brain-computer interface）で、こちらも音声に関する神経活動を解析することで、1分間で最大62単語の英語をPCに表示することに成功しました。この単語量は従来の研究より最大3.4倍であり、一般的な会話である毎分160語に近くなっています。
◾脳波から聞いている音楽を特定する
他にも、イギリスのエセックス大学の研究チームは、脳波および脳の血流から音響処理に関するデータを分析し、被験者が聞いている音楽を特定するという研究を発表しています。
2023年1月に発表された論文によれば、成人男女20名の被験者は、リズムやテンポの異なる36の簡単なピアノの曲を40秒ずつ聴きます。その際被験者の脳は、脳波をモニタリングするEEGという方法と、脳の血流をモニタリングするfMRIという、どちらも非侵襲的な方法（脳に電極を挿入するような直接的ではない方法）で分析されます。
抽出されたデータから音響処理に関する情報を深層学習（要するにAI）で分析した結果、71.8％の確率で、被験者の聞いている音楽の判別に成功しました。研究者によれば、音楽の処理と言語処理には類似点があるため、この方法は音声を理解する方法として応用できる可能性があるとしています。
まだまだ時間はかかるにせよ、こうした方法によって、声を発することが困難な人にも、コミュニケーションや日常生活における様々な課題に寄り添える可能性が広がっているといえるでしょう。
◾広がる脳波研究の可能性と課題
脳波でできることが増える一方、懸念の声も聞かれます。
2023年1月にスイスのダボスで行われた世界経済フォーラム。そこで行われた法倫理学者のニタ・ファラハニー氏の発表によれば、企業は従業員の活動を脳波でモニタリングする技術の活用を考えているとのことです。実際に脳波で疲労等をモニタリングする企業は数多く存在し、将来的にウェアラブルデバイスと接続し、長距離トラックのドライバーなど、事故が生じる可能性がある際に警告を促すシステムが考えられます。あるいは、集中力を取り戻すためのツールとしても用いられるでしょう。
一方で、脳波で様々な事がわかるとなれば、ますます個人のプライバシーや、意識の制御の自由、つまり認知的自由の権利を重視し、個人情報保護の権利を拡張する必要もあるとファラハニー氏は述べています。
つまり、脳波は使い方次第では有用にも悪用にもなる技術の対象となりはじめているのです。当ラボはこうした分野について、特に音や発話に関わる分野に注目したいと思います。
この記事が気に入ったらサポートをしてみませんか？