専門テキスト(論文・特許)からGPT-4でデータマイニングする際の難しさについてのメモ

Kan Hatakeyama

(下書きをもとにGPT-4に作成してもらった文章です)

はじめに

GPT-4のような高性能な大規模言語モデルの登場により、データマイニングタスクの自動化への関心が高まっています。

例えば、化学・材料系では、実験データベースが基本的に整備されていないのが現状です(一方でバイオ系ではタンパク質データベースなどが存在し、AlphaFoldなどの誕生の背景となっています)。
その結果、データ科学の利用範囲が制限され、活用が難しい状況が続いています。

過去の論文、特許、社内文書などから有益な情報を取り出し、構造化されたデータベースを作成することは、多くの研究者や企業が求めるものです。しかし、その作業は手間がかかり、専門家を継続的に確保することが難しいため、うまく進められていないのが現状です。
最近では、自動で行われる実験から得られる大量のデータをどのように処理すればよいかという問題も浮上しています。

このような背景から、多量の実験テキストデータを効率的に処理するツールとして、大規模言語モデル、特にGPT-4が注目を集めています。GPT-4は高い判断能力を持つため、人間の代わりにテキストを解析する用途に適していると考えられます。

テキストをAIがデータマイニングして表を作るimage
(DALL-Eで作成)

一方、大規模言語モデルを用いたデータマイニングは、簡単には進められないことが明らかになってきました。これはまるで未開のジャングルのようで、専門的な知識だけでなく、手間と労力を伴う作業も多いのが現状です。

私自身も実際に挑戦してみたものの、すぐに挫折してしまいました。しかし、このタスクに挑戦したいと思う人が多いことも確かです。そこで、まずは現状の整理と、専門文書に対するデータマイニングの難しさや特性についてのメモを以下にまとめたいと思います。

論文からデータマイニングをするには?

例として、論文からのデータマイニングを行い、重要な情報を抽出するためのプロンプトを以下に示します。

プロンプトの例
回答の例

基本的に、「依頼文＋解析したいテキスト」の形式でリクエストをすると、適切な回答が得られます。GPTのAPI機能にはFunction callingがあり、これを使用すると解析結果をJSON形式で取得でき、構造化データを自動的に取得することができます。

しかし、さまざまなテキストに対して、汎用的なプロンプトを使用して、実用的な精度で上記の作業を行うのは非常に難しいです。

この難しさについて、以下にいくつかのポイントを挙げます。

テキストマイニングの難しさ

データベース設計の難しさ

データマイニングを行う前のステージで直面する問題の一つが、データベースの設計です。これは一見単純に思えるタスクですが、実際には多くの難しさが伴います。

情報科学に特化した専門家は、データベースを構築する技術的なスキルを持っていますが、どのような材料情報が実際に必要で、どれが不要なのかの判断は難しいことが多いです。
一方、実験や研究に特化した専門家は、例えば必要な情報の詳細に非常にこだわる傾向もあり、それがデータベース設計を複雑にする原因となります。

したがって、データベース設計の際には、多くの文献や研究で共通して登場する、かつ、実際の研究や実験において重要な情報を選び出すバランス感覚や専門知識が求められます。

GPT-4の性能の問題

GPT-4は、AI技術の進展において大きな一歩を表すものであり、多くの分野で優れた性能を発揮しています。しかし、完璧ではなく、特定の条件下ではその性能にいくつかの制約が見られます。以下では、これらの問題点をより詳細に掘り下げて説明し、その背景と影響を探求します。

1. 専門文書の理解に関する限界

GPT-4は一般的なテキスト理解においては非常に高い能力を持っていますが、専門的な文書や論文に関しては、その訓練データにそうした専門的な内容が充分に含まれていないため、理解度が限定的になることがあります。特に、専門的な単語や独特の文脈を正確に把握することが難しいという課題があります。

2. 長文における情報の扱い

長いテキストに対してGPT-4が処理を行う際、その全体を完全に理解し維持することが難しいことがあります。情報の量が多くなるにつれ、特定の詳細や文脈が抜け落ちることがあり、これはAIの記憶容量の制限などに起因しています。

3. 性能の不透明性

GPT-4がどのような条件で性能を発揮しきれないのか、またいつ「サボる」（つまり、最適な性能を発揮しない）のかについては、完全には理解されていません。この不透明性は、予測可能性の欠如をもたらし、使用者にとって不確実性を生じさせます。

4. 専門家による評価の必要性

GPT-4の出力に対する信頼性を確認するためには、特に専門的な内容に関しては、専門家によるチェックが不可欠です。AIが提供する情報や解釈が正確かどうかを評価するために、人間の専門知識が必要になるのです。

5. 誤解釈のリスク

GPT-4は時として誤った情報を提供したり、文脈を誤解することがあります。これは、入力されたテキストの曖昧さや、AIが訓練データから抽出した不完全なパターンによるものです。特に、専門的なテーマや微妙なニュアンスが関わる場合、このリスクは高まります。

6. 誤りの特定の難しさ

GPT-4がどのような条件下で間違いを犯すのかを特定することは難しく、この理解の欠如は、誤りを予防し、システムの改善に向けた取り組みを複雑化します。したがって、誤りを特定し、それを緩和するためにも専門家の介入が必要です。

検索・トークン長の問題

GPT-4のような先進的な言語モデルは、その潜在能力においては計り知れないものがありますが、検索とトークン長に関するいくつかの制約に直面しています。これらの問題点を詳細に検討し、可能な対策を探ることは、AI技術のさらなる進歩に不可欠です。

入力可能なテキスト長の制限

言語モデルは、一定のコンテキスト長（context length）の制限を持っています。これは、モデルが一度に読み込み、処理できるテキストの量が限定されていることを意味します。そのため、非常に長いテキストを扱う際には、適切なセクションを選択し、読み込ませる必要があります。

Retrieval Augment Generation（RAG）

RAGは、言語モデルに適切なテキストを提供するためのアプローチです。これは、検索を通じて関連性の高い情報を抽出し、モデルに供給する手法です。しかし、この検索プロセスは高難度であり、特に専門的な内容を正確に識別することは難しい課題です。

検索の難しさ

  • 重要なテキストの判断: 専門家が重要だと考えるテキストを選出する基準は明確ではありません。このため、どのテキストを読ませるべきかの選択は、しばしば難しい判断を要します。

  • 単語マッチの限界: 単純な単語マッチングでは、言い換え表現や類義語などに対応することが難しいです。これにより、関連性のあるテキストが見逃される可能性があります。

  • 専門文書とembed vector: 専門文書を十分に読んでいない言語モデルでは、そのembed vectorの生成精度が低下します。これは、専門的なコンテンツを適切に理解し、処理する能力に影響を及ぼします。

  • 深層学習のランキング学習: より高度なランキング手法、例えばクロスエンコーダの構築には、多量の学習データを要求します。このデータの取得と処理は、さらなる課題を生じさせます。

分散情報の統合問題

また、重要な情報が文献内に散在している場合、それらを一元的に集めて理解させることは非常に難しいです。これは、RAGの潜在的な限界点となります。

対策の検討

  1. コンテキスト長の増加: コンテキスト長を伸ばすことで、より多くの情報を一度に処理することが可能になります。ただし、テキストが過度に長い場合、読み取り精度に影響を与えるリスクがあります。

  2. 専門知識に特化したモデルの開発: 専門的な知識や文献に特化した言語モデルを開発することも一つの解決策ですが、これは極めて高度な技術とリソースを要する非常に難しい課題です。

テキストの問題

勝手な名称や略称の使用

研究論文、特に化学や材料科学の領域では、特定の化合物や材料に対して独自の名称や略称を用いることが一般的です。これは、論文の中で繰り返し同じ化合物や材料を参照する際の便宜のためや、視覚的にわかりやすくするためのものです。しかし、この独自の命名法にはいくつかの問題点が存在します。
例えば、「Compound 1」といった名称が論文内で使用されることがよくあります。このような名称は、特定の文脈でのみ有効であり、他の論文や文献では同じ名前でも別の化合物を指す可能性があります。これにより、読者や研究者は正式な名称を探す手間が増え、情報の取得が難しくなる可能性があります。

正式名称の記載の有無

一般的には、論文のどこかにその材料の正式な名称、例えばIUPAC名などが記載されています。しかし、中にはそもそも正式な名称が与えられていないケースも存在します。これにより、特定の化合物や材料の特性を正確に把握することが難しくなります。

物性の変動

同じ化合物や材料でも、製法や処理方法によってその物性が異なることが多々あります。したがって、単に名前だけでその材料の特性を判断することは難しく、具体的な製法や処理条件も考慮する必要があります。

GPT-4の認識能力

先進的な言語モデルであるGPT-4も、上述の問題に対して完璧な解決策を提供するわけではありません。特に、図表やプロットの読み取り、化合物の構造のOCR（光学的文字認識）に関しては、精度が十分でない場合があります。

データの再計算と単位の問題

論文によっては、必要なデータや情報が直接示されていない場合もあります。例えば、ある論文では重量組成のみが示され、体積組成は示されていない場合などです。このような情報の欠落に対応するためには、既存のデータから必要な情報を再計算するスキルが求められます。

データ加工の問題

学術論文や業界のレポートなど、多くの重要な情報はPDF形式で配布されます。しかし、この形式はデータマイニングや自動テキスト処理において多くの課題を持っています。

PDFファイルの特性

  • 不規則な改行とレイアウト: PDFは視覚的なフォーマットに最適化されており、テキストが不規則に改行されることがあります。また、ページ内の図表やコラムによりテキストの流れが中断されることが多々あります。

  • テキスト抽出の複雑性: PDFからテキストを抽出する際には、フォントやレイアウトの多様性に対応する必要があり、これがデータの品質に直接影響します。

将来性に関する問題：GPT-5以降のモデルの進化と現状の取り組みの価値

技術の進化は絶えず進行しており、特にAIや機械学習の分野においてはその進化のスピードは目を見張るものがあります。GPT-4のような先進的な言語モデルが登場する中、次世代のモデル、例えばGPT-5やその後継モデルがもたらす変革についての期待は高まっています。

一挙に問題が解決する可能性

技術革新は時に予期せぬタイミングで訪れ、それによって現在の取り組みやノウハウが一変することがあります。たとえば、GPT-5のような進化したモデルが登場し、今までに培った専門的な知見やシステム構築の努力が一瞬で過去のものとなる可能性は否定できません。これは、長い時間と労力をかけた成果が突然の技術進化により無用化されるリスクを意味します。

技術進化のペースの問題

一方で、実際の技術的進歩はステップバイステップで進行することが多く、特に複雑な問題に対する解決策は時間を要するのも事実です。
実際、本記事で提示した課題の多くは深層的で難解であるため、2,3年の短期間で全ての問題が解決されるとは考えにくいです。

現時点での取り組みの価値

現状での技術やノウハウの蓄積は未来の技術発展の基盤を築くものであり、無駄ではありません。今の段階での経験や知識の蓄積は、次世代のモデルが持つ新しい能力を効果的に利用するための基盤にもなります。
また、技術の進化とともに現場での応用の幅も広がるため、現時点での取り組みは将来的な成功へのステップと言えるでしょう。

まとめ

現在のGPT-4を含む言語モデルは、画期的な能力を有しているものの、専門文書の理解、データ加工、専門用語の扱いなど、いくつかの面で制限を持っています。これらの課題は、GPT-5やその後のモデルの進化によって克服される可能性がありますが、それまでの地道で詳細な検討や知識の体系化は、将来の技術進化に対する重要な準備となります。
つまり、現在のAI技術の限界を理解し、それらを乗り越えるための経験と知識は、新たな技術革新への道を切り開く貴重な資産です。したがって、これらの課題に向き合う努力は、未来のAI進化のために不可欠であり、その価値は計り知れないものと言えるでしょう。

この記事が気に入ったらサポートをしてみませんか？