言語モデルの基礎データとしてのWikipediaとそれを汚されることの課題
近年、急速な発展を遂げている大規模言語モデル（LLM）。その学習過程において、Wikipediaが重要な役割を果たしていることをご存知でしょうか？今回は、言語モデルとWikipediaの密接な関係について探ってみましょう。
なぜWikipediaが初期学習データとして選ばれるのか
LLMをはじめとする多くの言語モデルが、Wikipediaを初期学習データとして採用しています。その理由は主に以下の3点に集約されます：
豊富なデータ量: Wikipediaは膨大な量の文章データを提供しています。これは、言語モデルが多様な表現や知識を学習するのに理想的な環境です。
データの自由な利用: Wikipediaのコンテンツは、クリエイティブ・コモンズ・ライセンスの下で公開されており、研究や商業利用を含む幅広い目的で自由に使用できます。
構造化された情報: Wikipediaの記事は一定の形式に従って書かれており、これが言語モデルにとって文章の構造や論理的な展開を学習する上で有利に働きます。
Wikipediaの信頼性：メリットとデメリット
Wikipediaを学習データとして使用することには、メリットとデメリットの両面があります。さらに、近年では意図的な情報操作の問題も浮上しています。
メリット
一貫性のあるルール: Wikipediaには厳格な編集ガイドラインがあり、情報の正確性や中立性を保つための仕組みが整っています。
幅広いトピックカバレッジ: 様々な分野の情報が網羅されており、言語モデルが多岐にわたる知識を獲得するのに適しています。
デメリット
一般的な懐疑論: "Wikipediaの情報は信頼できない"という一般的な認識があり、これが言語モデルの出力に対する信頼性にも影響を与える可能性があります。
編集の即時性: 誰でも編集できる性質上、一時的に不正確な情報が含まれる可能性があります。
意図的な情報操作の脅威
Wikipediaの開放的な性質は、同時に悪用の可能性も秘めています。一部の個人や団体が、特定の目的のために意図的に誤った情報を挿入したり、既存の情報を歪めたりする行為が報告されています。
プロパガンダの拡散: 政治的、イデオロギー的な主張を広めるために、関連記事を操作する試みがあります。
商業的利益のための編集: 企業や個人が自身の評判を向上させたり、競合他社の情報を貶めたりするために情報を改ざんすることがあります。
陰謀論の挿入: 科学的根拠のない主張や陰謀論を、一見信頼できそうな形で記事に織り込む行為も見られます。
Wikipediaの情報の中から文法だけを利用することができればいいのですが、そういうことはモデルの性質上難しいのが現実です次にその点を説明していきたいと思います
言語モデルが学習する情報の本質
私たちが日常的に使用している言語には、実に多くの情報が詰まっています。大規模言語モデル（LLM）をはじめとする AI 技術は、この豊かな言語情報を学習し、驚くほど人間らしい文章を生成できるようになりました。では、言語モデルは具体的にどのような情報を学習しているのでしょうか？
言語情報から抽出される主要な要素
言語モデルが学習する情報は、大きく分けて以下の3つの要素に分類できます：
文法情報
一般情報（意味内容）
構造情報
それぞれの要素について、詳しく見ていきましょう。
1. 文法情報
文法情報とは、言語の規則や形式に関する知識です。具体的には以下のような要素が含まれます：
品詞（名詞、動詞、形容詞など）の使い方
文の構造（主語、述語、目的語の配置など）
時制や態（能動態、受動態）の表現方法
助詞や接続詞の適切な使用
言語モデルは、大量のテキストデータを分析することで、これらの文法規則を暗黙的に学習します。
2. 一般情報（意味内容）
一般情報とは、テキストが伝える具体的な知識や概念のことです。例えば：
歴史的事実
科学的知識
文化的背景
一般常識
言語モデルは、様々なトピックに関する膨大な情報を学習し、それらを適切に組み合わせて新しい文章を生成することができます。
3. 構造情報
構造情報は、テキストの論理的な組み立てや展開に関する知識です。以下のような要素が含まれます：
段落の構成方法
論理的な議論の展開の仕方
文章のジャンルに応じた構造（例：ニュース記事、学術論文、小説など）
情報の優先順位付けや重要度の判断
この構造情報を学習することで、言語モデルは単に文法的に正しいだけでなく、論理的で読みやすい文章を生成できるようになります。
これらの情報は同じ一つの文章から同時に学習しているがゆえに、分離することができないのです。そして、分離ができないということは、Wikiから文法を学習しているときに、中身の意味情報も同時に学習しざるを得ないのです。
言語モデルの学習データ：多様性の重要性と利用の制約
上記までで、私たちはWikipediaが言語モデルの重要な学習データソースとなっている理由と、なぜWikipediaの情報の全体を利用する必要があるのかを探りました。実際はより高度で多様な言語理解を実現するために、さまざまなデータソースを活用することが理想的です。ところが、多くの有用なデータソースは、実際には簡単に利用できないのが現状です。ここでは言語モデルの潜在的なデータソースとその利用に関する制約について詳しく見ていきましょう。
利用が制限されるデータソースの例
言語モデルの学習に有用と思われるデータソースには、以下のようなものがあります：
レビューデータ
ウェブページのコンテンツ
ソーシャルメディアの投稿
これらのデータは、日常的な言語使用や最新のトレンド、多様な意見や表現を反映しており、言語モデルの性能向上に大きく貢献する可能性があります。しかし、多くの場合、これらのデータは自由に利用することができません。
なぜこれらのデータを利用できないのか？
これらのデータソースの利用が制限される主な理由は以下の通りです：
1. 著作権とライセンスの問題
多くのウェブコンテンツやレビューは著作権で保護されています。これらを大規模に収集し、AIの学習に使用することは、著作権法に抵触する可能性があります。
2. プライバシー保護の観点
特にソーシャルメディアの投稿やレビューデータには、個人情報が含まれている場合があります。これらのデータを無断で利用することは、プライバシー侵害につながる恐れがあります。
3. データの有料化
多くの有用なデータセットは、商業的な価値があるため有料で提供されています。大規模な言語モデルの学習に必要な膨大なデータ量を考えると、コストが莫大になる可能性があります。
4. アクセス制限
ウェブサイトの利用規約やAPI利用規約により、データの大規模な収集や再利用が禁止されている場合があります。
5. 大手テック企業による自社データの囲い込み
FacebookやGoogle、Amazonなどの大手テック企業は、膨大な量の独自データを保有しています。これらの企業は自社のAI開発のために、このデータを外部に公開せず、囲い込む戦略を取っています。
この状況が言語モデル開発に与える影響
これらの制約により、言語モデルの開発者たちは以下のような課題に直面しています：
データの偏り: 自由に利用できるデータソースに偏重することで、モデルの理解や生成能力に偏りが生じることになります。
最新情報の反映の遅れ: ソーシャルメディアなどのリアルタイムな情報源を利用できないため、最新のトレンドや言語使用の変化を迅速に反映することが困難です。
特定分野の専門知識の不足: 専門的なレビューやウェブサイトのデータを利用できないことで、特定分野に関する深い知識の獲得が制限されます。
言語の多様性の制限: 様々な文体やコンテキストを含む多様なデータソースを利用できないことで、言語モデルの表現の幅が制限される可能性があります。
言語モデルの品質を左右する要因：インターネットの変容と社会的課題
こうした状況に加えて近年の大規模言語モデル（LLM）の発展により、AIによる自然言語処理の能力は飛躍的に向上しましたが、しかし、これらのモデルの品質は、学習データの質に大きく依存しているのが実際の理解です。ここでは言語モデルの品質に影響を与える要因、特にインターネット上の情報環境の変化と、それに伴う課題について探ってみましょう。
1. インターネット上の不適切な情報の氾濫とBOTの影響
情報の氾濫と質の低下
インターネットの普及に伴い、誰もが簡単に情報を発信できるようになりました。これは情報の民主化という意味で素晴らしい進歩ですが、同時に信頼性の低い情報や意図的に歪められた情報も増加しています。
フェイクニュースの拡散
陰謀論サイトの増加
ヘイトスピーチや過激な意見の表出
これらの問題は、言語モデルの学習データの質を直接的に低下させる要因となります。
BOTの影響
また自動化されたBOTプログラムによる大量の投稿も、インターネット上の情報環境を変えつつあります。
スパム投稿の増加
同じ内容の反復的な投稿
人工的に作られた偽のトレンド
BOTによる投稿は、言語モデルにとってノイズとなり、自然な言語使用のパターンを学習することを困難にする可能性があります。
2. 大規模モデルの登場前後での品質の変化可能性について
これは言語モデルに限らず、画像生成モデルについても言えることではありますが、大規模モデルは誕生の前後で環境の変化が発生していることは最近は知られてきていることかと思います
LLM登場以前
LLMが登場する以前の言語モデルは、比較的クリーンなデータセットで学習されることが一般的でした。
基本的な取得が可能な情報は人間が記述しているため、文章の理解が可能であることは最低限の前提条件でした
また人間が記載する文章量には限界があるため、無制限な文章は氾濫されることは想定されていませんでした
内容には問題があっても、陰謀論が正しい情報を上回る勢いで記載されることはないため、情報量の差を見ればおそらくどれが正しいのかをおおよそ予測できる
その結果、モデルは文法的に正確で、比較的信頼性の高い情報を生成することができました。
LLM登場後
LLMの登場により、より大規模で多様なデータセットを扱うことが一般的になりました。これにはメリットとデメリットがあります。
LLMが自体が新しい文章を生成し、その情報をさらにLLMのモデルが学習するようになっていきます。
情報が汚染され、どれが正しいのか間違っているのかがわからなくなっていく。
詐欺などの目的によって、本来は適切ではない情報が大量に生成されるようになっています。
これらの情報が今後のモデルには含まれた状態で発生する可能性があります。
この一つの例が現在の弥助に対する議論にもつながっていくことでしょう
3. 信頼できる情報の維持に必要な社会的コスト
言語モデルの品質を維持・向上させるためには、信頼できる情報環境を整備する必要があります。これには相当な社会的コストがかかり、このコストを支払うことに対して十分な同意が得られなければ状況は悪化していくことでしょう。
データのキュレーションと検証
専門家による大規模データセットの審査
ファクトチェック機関の設立と運営
AIを活用した自動的な情報検証システムの開発
これらの取り組みには、多大な人的・金銭的リソースが必要です。
デジタルリテラシー教育
一般市民向けの情報リテラシー教育プログラムの実施
学校教育でのメディアリテラシー科目の導入
オンラインプラットフォームでの情報評価ツールの提供
社会全体の情報リテラシーを向上させることで、質の高い情報環境を維持することができますが、これも現実的ではないだろう。
まとめ
言語モデルの品質を維持するためには、信頼できる情報環境を維持することが不可欠です。そのため、Wikipediaのような信頼性の高いデータソースを汚されないように保ちつつ、データのキュレーションと検証、デジタルリテラシー教育などの取り組みが求められます。しかし、これには多大な社会的コストがかかるため、社会全体での協力が必要です。これらに対してどれだけの努力ができるのかが社会の中では大事となりますが、今現在のような個別が対応している中では、十分な行動はできないと考えられます