心理言語学の方法

こんにちは、やのです。

今日は、言語学会の懇親会で「Advent Calendarやるけど、どう？」と声をかけて頂いたときに話していたことをブログにしたいと思います。（心理）言語学に本当に脳科学的手法は必要なんか？という話です。

簡単な自己紹介

私の専門は、言語学の中でも「心理言語学」と呼ばれる分野で、主にことばの獲得・理解・産出・障害を研究する分野です。学際的な分野なので研究者によって関心事はばらばらなのですが、私個人は、ひとが言葉を理解したり話たりするときに、どのようにして統語構造を作っているのか、どのように意味解釈を行っているのかということに関心があります。

心理言語学の方法

言語研究において実験的なアプローチが必要かどうかについては様々な議論がありますが（例えばPhillips, 2009; link）、先週のブログに書いたように、心理言語学では実験的なアプローチはほぼ必須です（そもそも何が「実験」かということについても議論があります, Marantz, 2005; link）。なぜなら、ひとは、文を理解したり話したりしている最中に作る統語構造や意味解釈について意識できない（ことがある）ため、例えば「○○という文を理解するとき、いつ、どのように修飾関係を考えましたか？」と聞かれても答えられないからです。当然、母語獲得の実験で赤ちゃんに「この構文をいつ、どのようにして獲得しましたか？」ということを聞くこともできません。そこで、様々な実験手法を考え、ひとの反応を見ることを通して、言語獲得・処理の仕組みについて探ることになります。

心理言語学で用いられる実験手法は色々あるのですが、近年は、従来の自己ペース読解実験（ここで体験できます）などの行動実験に加えて、脳波計測やfMRIなど脳機能イメージングを用いた研究が増えてきています。また、自然言語処理（NLP）と関わりがある計算心理言語学という分野では、ちょっと前までは行動データ付きコーパスの開発・解析が「すげー‼」と話題になっていたところが、脳波やfMRIデータの情報が入っているコーパスが登場し、注目を集めています（link）。

私自身、ここ10年ほど脳波計測をメインで心理言語学の研究を進めてきたので、こういう動きは嬉しい反面、ちょっと違和感を覚えることもあります。「過度に手法に頼った研究」が多くなってきているのではないかという懸念です。そのようなダメな研究の例として10年前の私の研究を紹介したいと思います。

10年前の失敗

10年前というのは、私が心理言語学を始めた修士1年のときのことです。学部時代は英語学を専攻していたので、心理言語学について知っていることはほとんどありませんでした（脳にブローカ野という場所があるらしいというくらい）。大学院の進学先は、脳波計測を用いた心理言語学研究をメインでやっているところで、入学と同時に脳波の計測や解析について学びました。

最初に選んだ研究テーマは、aspectual coercionという現象でした。動詞（句）は語彙的に決まっているアスペクトを持ち、例えばThe cat jumped.という文だと、猫が1回短いジャンプをしたという解釈になります。しかしThe cat jumped for ten minutes.のようにすると、jumpの意味がfor ten minutesの意味と整合しないので、何度も繰り返しジャンプしたという解釈に変わります。これがaspectual coercionという現象です。理論的には意味（タイプ）の不一致によりアスペクトが変更されると考えられていますので（ざっくりしすぎですが）、本当にそうなのかどうか、修士課程では脳波をはかってみました。

その結果、aspectual coercionが必要な文を理解するときには、負荷がかかり、前頭部のあたりで陰性の脳波（陰性波）が観察されるということがわかりました。しかし、問題は、その陰性波が何なのか全くわからなかったことです。意味（タイプ）の不一致に関連している可能性もありますし、意味解釈の変更を反映している可能性もあります。また、なぜ「前頭部」で活動があるのか、その他の位置で観察される陰性波をどう関係があるのかもわかりませんでした。英語やドイツ語などで観察される陰性波となぜタイミングが違うのかもさっぱりわかりませんでした。当時は必死に意義ありげに書いてなんとか論文化しました（Yano & Sakamoto）。

このように「結果だけあるけど何がわかったのかはわからない」という研究は意外と多くあります。これが先ほど言った「過度に手法に頼った」研究です。私の10年前のようなだめな研究の問題は、とりあえず脳波を測ってみれば何か脳波が教えてくれるだろう、という期待にあります。現実は全然違います。脳波は何も教えてくれたりなんかしません。

言語研究における脳波の非有用性

（非有用性ってことばあります？）

なぜ脳波計測ではわからないのでしょうか。脳波のデータは言語学的に興味深い事実を発見するには複雑過ぎるのだと思います。脳波は1000 Hz（= 1秒間に1000個のデータ）で計測するのが一般的ですので、例えば1秒間の脳波を、100個の電極 x 30名の話者から記録したとすると、1秒で1000個 x 100 電極 x 30人で300万個のデータになります。さらに100試行のデータを取るとさらにデータの複雑性は増えていきます。

そのような非常に複雑性の高いデータが得られる実験ツールを用いた研究では、統語論や意味論からは実験結果を予測したりすることが難しくなってしまいます。それらを繋ぐ仮説がないからです。○○という統語構造／意味解釈になったときには△△の脳波が出るはずだから、□□という仮説を検証することができるといったことができる状況というのは意外と限られています。*1

さらに悪いことに、多次元的データが得られると、既存の理論・仮説によって予測されない事実は山ほど出てきます。これまでの研究とタイミングが違うとか、観察される場所が違うとか、様々な相違があり得ます。そのような予測しない結果が得られたとき繋ぐ仮説がないために解釈することすらできないこともあります。そしてその相違を生んでいる要因がなんとかわかったとしても、言語学的にそれが面白い事実であるとは限りません。一般的に言語関連の実験は右利きのひとを対象として行われますが、その対象者の親族に左利きがいるかどうかが脳波の出方に影響しているとか、そういったこともあり得ます（言語学以外のひとにとっては重要なこともかもしれませんが）。*2

データの複雑性に起因する予測・解釈の困難さによって、言語処理と言語知識との関係性はそれほど単純にはなりません。言語知識の理論と言語処理の理論を結びつけるために、あえてシンプルなデータを取るというほうが最近良いような気がしています。読解時間のようなシンプルなデータだと、○○という構造は△△という構造より複雑なので、認知的負荷がかかり、読解時間が増大するだろう、という比較的単純なつながりを作ることができます。

言語学的に関心のある現象を扱おうとするとどうしても統語的・意味的に複雑な文を呈示する必要があるのですが、脳波実験ではそういう文が使えない（文が長すぎると瞬きによるノイズが発生して計測できない）という難しさもあります。信号雑音比 (signal-noise ratio)の問題から実験デザインを極めてシンプルにする必要があり、探索的な研究には向きません。

言語研究における脳波の有用性

じゃあ、脳波計測はやめたほうがよいのかというとそんなことはありません。脳波計測が役に立つ（もしくはそれしか方法がない）ということもあります。例えば、私が参加させて頂いているプロジェクトの一つで、カクチケル語（グアテマラ）やセデック語（台湾）の話者を対象とした研究があります（Yano et al., 2019など）。これらの言語の話者の中には普段あまり読み書きをしない方もいらっしゃるので、読解実験や視線計測実験できません。またMRIのような大型の装置は持ち運びができません。そのため、脳波計を現地に持ち込んで、音声を呈示したときの脳波を計測するという方法を取ることになります（グアテマラや台湾に脳波計を持ち込むのは中々スリリング（？）なのですが、それはまた別の機会に）。

また、人間の言語処理では様々な種類の処理が非常に高速に展開されていきますので、ひとつの語または文の中で複数の異なる種類の処理によって負荷が増大するような場合、脳波計測が向いています。多次元的な情報を手がかりに、どの処理による負荷がどの程度増大しているかを推測できる可能性があるからです（例えば、Yano 2017とかYano, 2018とかは、おそらく脳波計測でしか発見できないことがわかった良い例かなと思います）。

自分の関心にあわせて様々なツールを

というわけで、ある方法がその他の方法に比べて優れているということではないです。大切なのは自分の関心のあるテーマや対象者が決まって初めて実験方法を選び、明確な予測・解釈ができるようにすることです（当たり前だろ！と思ったひとはすいません）。もしある文の処理に関心があって、その文の処理方法について十分にわかっているのであれば脳波やfMRIをやってみるのも良いかもしれませんし、まだ何もわかっていない（例えば、○○という文は△△という文に比べて理解が難しいという程度しかわかっていない）のであれば、まずは、どのような処理がどの段階で起きているのかを行動実験を通して理解する必要があります。

しかし「自分の関心のあるテーマが先にあって、それに応じて実験ツールを選ぶ」のが理想的（教科書的）だとは言え、現実的には難しいです。なぜなら、自分が所属する研究室に装置がなければ単純に実験出来ないからです。したがって現実的には「いまある実験装置を使って答えられる問いを立てる」ということになります。これは、卒論生や院生など研究を本格的に始めたばかりのひとにとっては結構難しかったりします。まだあまり知識の無い中で研究テーマを見つけないといけない状況で、教員や先輩方のコメントをもらったり、研究していく中で研究テーマが変わっていく一方で、その研究テーマは利用可能な実験方法に制限されるという板挟み的な感じになるからです。そのことを明示的に教えてもらえることは多くありません。

じゃあどうすれば良いんだ！って話なのですが、そういう方はぜひ東京都立大学の言語科学教室に来て頂くと良いと思います（いきなり宣伝かい！ 笑  私の研究室には、脳波計（EEG）・光トポグラフィ（NIRS）・磁気刺激装置（TMS）・電気刺激装置（HD-tDCS/ACS）などの設備あります。学部2年生以降が受講対象の実習がありますので独学する必要はありません（もちろん他大学から院進してきた人も受講できます）。

さっき話したように、脳波を測れば何でもできる・わかるわけではないので、最近、基盤研究（B）に応募して、眼球運動計測装置（Eye Link 1000 Plus）を買いました。2台あって、1台は単独での使用、もう1台は脳波と同時計測用です（ポータブルの眼球運動計測装置Tobii nanoもあります）。眼球運動計測のデータは複雑過ぎないので、実験的な予測も立てやすいし、解釈もしやすいというメリットがあります。眼球運動計測で答えられない問いでも脳波計測なら答えられるはずだ!と思っている方もいらっしゃるかもしれませんが、実際は逆のことも結構あって、今後、使っていこうかなと思っています。

あと、私の研究室は教育体制がちょっと変わってて、理論系の教員に加えて、幼児の脳・言語発達、言語障害、その他の言語関連の障害などを専門とする実験系の教員が４名います。このような言語学系の研究室はあまりない（というかたぶんない）ので、興味があるひとはぜひどうぞ。もちろん学振PDなどで応募したいとか、共同研究したいという方も大歓迎です。

今日の話はおしまいです。興味があるひとはPoeppel & Embick (2005)やEmbick & Poeppel (2015)などを読んでみると良いかもしれません。

*1 実際の研究では脳波を解析して単純化させます（事象関連電位や周波数帯域を見る方法などがあります）。でも、いま議論されている脳波はせいぜい数種類で、それだったら単一指標を得る行動実験と何が違うのかって話になります。しかも言語関連の脳波研究の初期には、統語処理と意味処理に個別に反応する脳波（それぞれP600、N400）の発見により脳波計測の有用性が謳われたわけですが、そのような単純化された仮説は2000年代前半になくなりました（悲しい）。
何度も似たような試行を繰り返すことで、体系的に現れる独立した成分をボトムアップ的に見つけてくるという方法もありますが、このような解析は実験的予測とは全く無関係に行われるので、結果的に得られた成分に対して「お前誰やねん！」という気持ちになります。最近は教師あり学習でトレーニングされたものが、脳波かノイズか、くらいは推測してくれるのですが、脳波だとわかっても何の認知活動に関連しているのかまではわかりません。

*2 逆にもっと高性能な脳機能イメージング法が必要であるという考えもあります。心理言語学において一般的に用いられる脳科学的なツールとして脳波以外にfMRIがあり、これらのツールは時空間的な情報について相補的な関係にあります。脳波は、時間的な情報は得られやすいですが、空間的な情報（脳の領域）はほとんど得られません。一方、fMRIはその逆、という風になっています。fMRIのような時間情報が得られにくい装置だと、ある文を理解するために複数の種類が行われたとしても、それらすべてをほぼ同じタイミングで捉えることになります。言い換えると、複数の脳領域で活動が見られたとき、それぞれが何の処理に対応しているかわからないということです（例えばA、Bという二つの処理が不可欠な文を実験参加者に呈示して、ある脳の領域①、②で活動が見られたとき、A-① & B-②という関係なのかA-② & B-①という関係なのかはわからない）。もしかすると、より詳細な時空間的情報が得られれば言語処理について、より理解が深まるのかもしれませんが、個人的には逆な気がします。

最後に宣伝

１月２９日（土）に「言語学フェス2022」という言語学に関心のあるひと同士のゆる〜いオンライン交流イベントを開催します。言語学に興味あるひとはぜひ！研究者じゃないひともウェルカムです！（そういうひとのための集まりです）。もちろん中高校生も！ なにか質問があれば問合せフォームまたはツイッターのDMでどうぞ。

https://sites.google.com/view/lingfes2022/

 あと、今年度から「心理言語学ハンズオンチュートリアル シリーズ」を始めようと思っていて、いきなりちょっとマニアックなのですが、まずは経頭蓋電気刺激法（HD-tDCS/tACS）について扱います。矢田先生のハンズオンチュートリアルのほうはすでに締め切ったのですが、前半の講義だけでも参加したいというひとがいれば。

日時：2022年3月3日（木）13:00~17:00
場所：東京都立大学南大沢キャンパス 5号館
主催：東京都立大学・人文社会学部・言語科学教室
スケジュール
13:00~14:30 @ 5-319　言語科学演習室
　　　経頭蓋電気刺激の概要       講師：矢野雅貴
14:40~17:00 @ 5-455　言語認知脳科学実験室
　　　ハンズオンチュートリアル 講師：矢田康人

引用した文献
Bhattasali, S. Brennan, J. R., Luh, W. Franzluebbers, B., & Hale, J. T. (2020) The Alice datasets: fMRI & EEG observations of natural language comprehension. Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), 120–125.

Embick D. & Poeppel D. (2014) Towards a computational(ist) neurobiology of language: correlational, integrated and explanatory neurolinguistics. Language, Cognition and Neuroscience, 30, 357–366.

Marantz, A. (2005) Generative linguistics within the cognitive neuroscience of language. The Linguistic Review, 22(4), 429-445.

Phillip, C. (2010) Should we impeach armchair linguists? In Iwasaki, S (ed.), Japanese/Korean Linguistics17, 49–64, CSLI Publications.

Poeppel, D. & Embick, D. (2005) Defining the relation between linguistics neuroscience. In A. Cutler (ed.), Twenty-First Century Psycholinguistics: Four Cornerstones. Lawrence Erlbaum

Yano, M. (2017) Predictive processing of aspectual information: Evidence from event-related brain potentials. Language, Cognition and Neuroscience, 33(6), 718-733

Yano, M. (2018) Predictive processing of syntactic information: Evidence from event-related brain potentials. Language, Cognition and Neuroscience, 33(8), 1017–1031.

Yano, M, Niikuni, K., Ono, H., Sato, M., Tang, A. A., and Koizumi, M. (2019) Syntax and processing in Seediq: An event-related potential study. Journal of East Asian Linguistics, 28(4), 395–419.

Yano, M. and Sakamoto, T. (2016) The functional dissociations between semantic repair and revision processes in Japanese. Studies in Language Sciences, 14, 106–125, Tokyo: Kaitakusha.