TOEFL iBT®）e-rater®は何を見ているのか？②
前回の続きです。同様に、下記のペーパーを参考にしていきます。（※けっこう古いですが）
Automated Essay Scoring With e-rater® V.2
※おそらく現在のe-rater®はさらに改良されているものと思われるので、参考程度に読んでください。
◆The Feature Set（続き）
前回は、
●Grammar/Usage/Mechanics
●Style
という４つのfeaturesを解説しました。（上のペーパーでは、これら４つを１つのかたまり として紹介しています。）
今回はその続き。
◇Organization/Development
e-rater®は、エッセイの各パーツが、どのような役割を担っているのかを判定します。
たとえば、どこが a thesis statement (主題、主張を述べた箇所)で、その前に書かれているこの一文は introductory material すなわち「導入、前置き」にあたる部分で…というのを認識していくわけです。
さらに、これがこの段落のmain ideaで、続く複数の文はそれをサポートするsupport ideasだな、そして最後に書かれたこれがconclusionにあたるんだな、というところまで判断します。（ここを誤解されないよう明確にするためにも、For instance や In conclusion といった転換語は上手く活用したいですね。）
このあたりのイメージを掴むには、ペーパー(PDF)の９ページを見てみてください。
それで、まずorganization(構成) に関して。ここでは「Introductionのパラグラフ・３つ(以上)のBodyパラグラフ・Conclusionパラグラフ」という、標準的な５段落(以上)の構成のエッセイが想定されています。
※ちなみに個人的には、TOEFL iBT®のIndependent Taskでは毎回Bodyは２パラグラフだけ書いて（＝全４段落で）、それでも複数回30点満点をもらっているので、別に５段落構成でないと満点が出ないというわけではないと思います。（が、最近は受験していないので、変更されていたらすみません。）
そして、各Bodyパラグラフには、main pointと、それをサポートするsupporting ideasが含まれているという想定です。（要は、『第一に〇〇です』とか書いて、その内容をそれ以降の文で支えていくという、一般的なBodyパラグラフですね。）
その上で、organizationというfeatureでは、こうした標準的なエッセイに含まれるthesisやmain pointといった要素と、提出された答案に含まれる要素とを比較するようです。そうすると、たとえば「この答案には、これとこれの要素が抜けているな」みたいな判断ができるわけです。
また、development（話の展開）では、これら要素のなかのdevelopmentの量を計測する…と書かれていますが、抽象的で分かりにくいですね。平均的な長さ (average length) に基づいていると書かれているので、分量が影響を与えているんじゃないかと思います。
◇Lexical Complexity → ①vocabulary + ②word length
lexicalは「語彙の」という意味。具体的には２つのfeaturesがあります。
①vocabulary では、語彙レベルを測定します。
これは "Standardized Frequency Index" というものに基づいて判定されるようです。frequencyは「頻度」のことですから、各ワードの使用頻度が規定されているものだと思われます。たとえば英単語同士でも、informationとperplexityなら、前者の方が頻度は高そうですよね。実際こうなります：
ここからは予測なのですが（詳しい方がいれば修正してください）、なぜ語彙レベルの測定に"頻度"が関連するかといえば、「使用頻度が低めの単語」＝「語彙レベルが高い」という仮定があるのではないでしょうか。
実際、IELTS®のライティングでは、Band 8 (かなりの高評価) の欄には “uncommon lexical items” つまり 普段はあまり使わないような語彙 についての言及もあります。
また、こんな論文が見つかりました（まさにこのトピックにぴったりの題名ですね）：
Word Frequency and Word Difficulty: A Comparison of Counts in Four Corpora
↑ ちなみに corpora は corpus の複数形です
このAbstract (要約、要旨)によれば、４つのコーパスでは、word frequency と word difficulty とは（一部の例外を除き）強く相関していたようです。
・・・ということを踏まえて、おそらくですが、普段の使用頻度が高くない、少し難しめの語彙などがあれば、それはポジティブに評価されうると考えて良いかもしれません。（このあたりは、普段の学習の際に『この表現はライティングで使えそう』のように意識して語彙を増やしたいところですね。）
ただし、おそらくこれを悪用して、極端に使用頻度の低い（難易度の高い）語彙を散りばめたテンプレートを用意して試験に臨む受験者が登場したせいだと思いますが、文脈と関係なく不自然に難しい語彙ばかり入れるのは危険かもしれません。多分「これは事前に丸暗記したテンプレートを使用している」みたいな警告をe-rater®が発して、人間の採点官が確認する、みたいなことが起きているんじゃないかと思います（予想ですが）。
なので、不自然に高難易度の語彙を散りばめたテンプレートを用意したりはせずに、あくまで語彙力そのものを高めていくように意識しておけば良いと思います。
もう１つは②word lengthで、これは読んで文字の通り。エッセイに含まれるワードの平均の長さ（文字数）を計測しているものと思われます。これはfrequencyよりももっとシンプルで、「レベルが上がれば、使いこなせる単語の平均的な長さも大きくなるよね」ということではないでしょうか。
たとえばgood (4文字) しか使えなかったのが、positive (8文字) や beneficial (10文字) といった表現も書けるようになる。そんなイメージ。
ただ、これもあくまで目安で、「文字数は短いけどハイレベルな語彙」だって当然存在しますよね。なので、これも「１単語あたりの文字数」を変に絶対視したりは しないようにしてください。
◆続きます
あと少しなんですが、一旦ここまでにして、また続きは別で書こうと思います。
今回の学びですが、先に語彙から。頭にコーパスが入っているわけでもない人間の受験者としては、変に凝った語彙を使おうとするより、シンプルに「普段から自分の語彙力を上げていく」のが本質的な対策といえるのではないでしょうか。例えば、リーディング問題で目にした「難易度が高いけど使えそうな表現」なんかはメモしておいて、次の練習時に使う…みたいなことを繰り返していけば、自ずと語彙面の評価は上がるのではないかと思います。
そして、Organization/Developmentに関して。少し注意なのが、TOEFL iBT®は2023年7月末から改訂され、Independent Taskが消滅すること。すなわち、上で書いたようなfive-paragraph essayの形式ではなくなり、かわりにAcademic Discussionという新形式の問題に変更されるわけです。
とはいえ、e-rater®が「ここが主張 部分だな」とか「この文は、前の文をサポートしているんだな」といったOrganization/Development面での判別を行うというのは続くと思います。ですから、たとえ分量が短くなっても、明快な論旨の流れで答案を書く、転換語を駆使して分かりやすいものにする…といった当然のことに気をつけていけば問題ないのかなと思います。
次回の記事で書くかもですが、このOrganizationとDevelopmentが最終スコアに与えるインパクトってかなり大きいようなんです。これがAcademic Discussion形式になるとどのぐらい変化があるかは今後気になるところですが（でも公開されないんだろうな…）、変にテクニックに走らず、当たり前に「分かりやすい文章にする」ということを意識したいですね。
では、また！ :)
#toefl #toefl_writing #ielts #英語 #英語学習 #語学 #語学学習 #writing #english_writing #erater #e_rater