The SourceData-NLP dataset: integrating curation into scientific publishing for training large language models
本研究の学術的背景、研究課題の核心をなす学術的「問い」は、科学的な出版が急速に拡大している中で、研究者が文献の進化について最新情報を把握することに課題があるということです。この問題に対して、自然言語処理（NLP）が登場し、豊富な出版物やプレプリントからの知識抽出を自動化するための力強い手法となっています。具体的には、Named-Entity Recognition（NER）とNamed-Entity Linking（NEL）といったタスクを活用し、文脈に依存した意味解釈と組み合わせることで、構造化された情報の抽出と重要な概念の明らか化に有望で補完的な手法を提供しています。
本研究の目的は、出版プロセス中の論文の定常的なキュレーションを通じて生成されたSourceData-NLPデータセットを紹介することです。このデータセットの特徴は、図のキャプションでの生物医学エンティティのアノテーションに重点を置いていることです。生物医学的なエンティティ（小分子、遺伝子産物、細胞小器官、細胞株、細胞タイプ、組織、生物、疾患）の8つのクラス、それらが実験デザインにおける役割、および追加のクラスとしての実験方法の性質をアノテーションしています。SourceDataNLPには、分子生物学と細胞生物学の3,223の論文の中の18,689の図から収集された、620,000以上の注釈付き生物医学エンティティが含まれています。このデータセットの有用性を示すために、NERのためにSourceData-NLPデータセットでファインチューニングされた2つのトランスフォーマーベースのモデルであるBioLinkBERTとPubmedBERTの評価を行っています。さらに、コントロールされた介入のターゲットであるか、測定対象であるかを推論する、新しい文脈依存の意味タスクも紹介しています。
本研究の着想に至った経緯は、科学的な出版物の急速な増加により、研究者が文献の進化について最新情報を把握することがますます困難になっているという現状から来ています。また、研究者がますます専門分野に偏り、相互理解が困難になっているという「専門化の呪い」もこの問題を悪化させています。これらの課題に対応するために、文献からの知識抽出を自動化する自然言語処理（NLP）ツールへの需要が高まっています。また、生物医学のキュレーションの分野では、大規模な注釈付きデータセットを作成するための重要な取り組みが行われてきました。出版プロセスにキュレーションを組み込むことで、論文が公開されると同時に構造化された情報をキャプチャし、提供することで、これらの取り組みを補完することができます。これにより、用語や概念の曖昧さを解決することで、科学的な研究結果の信頼性と厳密性を向上させることができます。また、著者の専門知識にアクセスできるという利点もあります。さらに、出版プロセスを活用することで、時間の経過とともに大規模な構造化データセットをNLPモデルのトレーニングに使用するというユニークな機会も提供されます。
関連する国内外の研究動向と本研究の位置づけは、NERやNELのタスクに対してアノテーションされたデータセットの作成が過去にも行われてきたことを示しています。これらのデータセットは、遺伝子やタンパク質、疾患、化合物、種など、様々なエンティティに焦点を当てています。一方、本研究では、科学的な結果を記述する図のキャプションのアノテーションや、生物医学エンティティが特定の実験デザインで果たす役割のアノテーションに焦点を当てています。これらは、バイオメディカルリサーチにおける科学的実験の重要な特徴を捉えるためのデータモデルの構築に役立ちます。
本研究では、SourceData-NLPデータセットを紹介し、その有用性を示すために2つのトランスフォーマーベースのモデル（BioLinkBERT、PubmedBERT）を評価しています。また、SourceData-NLPデータセットは生物医学エンティティに焦点を当てた注釈付きデータであり、分子生物学と細胞生物学の論文の図から収集されました。データセットには、620,000以上の注釈付き生物医学エンティティが含まれています。これにより、モデルは文献から因果関係の仮説を抽出し、それらをナレッジグラフにまとめるためのツールの開発が可能となります。
本研究では、SourceData-NLPの規模を通じて、キュレーションを出版に統合する価値を示しています。また、SourceData-NLPでトレーニングされたモデルにより、文献から因果関係の仮説を抽出し、ナレッジグラフにまとめるためのツールの開発が可能となります。さらに、SourceData-NLPへの研究者のアクセスを容易にするために、ソースコードや機械学習用のデータ、トレーニング済みのモデルなどがオープンソースで提供されています。