CMB: A Comprehensive Medical Benchmark in Chinese

CMB: A Comprehensive Medical Benchmark in Chinese

1. 「学術的背景」:大規模な言語モデル(LLMs)は、医療分野での大きなブレークスルーを可能にする可能性がある。しかし地域によって、医療環境は異なり、例えば中国では伝統的な中国医学が広く重要視されている。このような地域ごとの特性を無視して英語ベースの医療評価を単純に翻訳すると、「文脈的な不適合性」が生じる可能性がある。学術的な「問い」は、この「文脈的な不適合性」をどのように解消するかという点に尽きる。

2. 「研究の目的」:異なる地域と文化の中で、大規模言語モデルの評価基準を一元化し、地域の医療環境に合わせた形で設定し直すこと。学術的な「独自性と創造性」は、中国の伝統的な言語と文化に根ざした「包括的な医療ベンチマーク」(CMB)を提案した点にある。

3. 「着想の経緯と研究の位置づけ」:異なる地域や文化に対する配慮から、中国固有の医療環境に対応したベンチマークの開発に着想を得た。研究の位置づけは、地域の文脈を汲み取った上での言語モデルの評価方法を提案し、その有用性を示すことにある。

4. 「何をどう明らかにしたか」:中国固有の文化と言語に基づいた新たなベンチマークを設定し、現行の大規模言語モデル群を評価した。具体的には、ChatGPT, GPT-4, 専用の中国語LLMs、医療分野専門のLLMsを評価した。このベンチマークはリーダーボード競争のためではなく、モデル進展の自己評価ツールとして設計されている。

5. 「有効性の検証」:新たなベンチマークを使用して、いわゆる大規模言語モデル群を評価することにより、中国における医療LLMsの普及と強化を促進することができると考えられる。