構造化コンテンツで大規模言語モデル(LLM)を訓練すべき6つの理由(6 Reasons to train your Large Language Models (LLM) with structured content)

6 Reasons to train your Large Language Models (LLM) with structured content
構造化コンテンツで大規模言語モデル(LLM)を訓練すべき6つの理由

Alex Abey 
アレックス・アベイ

16 Jun 2023 
２０２３年６月１６日

At this point, there is no question that LLMs will radically change the way enterprises deliver content to employees, customers, partners, and regulators. While it’s clear this change is coming, it’s less clear what this means for how enterprises create and manage their content. A particular question I’m hearing a lot these days is whether enterprises still need to invest in structuring and enriching their content, or whether LLMs can generate satisfactory results from unstructured and un-enriched text. After all, the base models from OpenAI, Anthropic, and others do a pretty amazing job considering they are trained on raw text and don’t explicitly consider markup such as HTML or XML tags at all during the initial training process.
現時点で、LLM は、企業が従業員、顧客、パートナー、規制当局にコンテンツを提供する方法を根本的に変えることになることに疑問の余地はありません。この変化がやってくることは明らかですが、これが企業のコンテンツの作成と管理の方法に何を意味するかはあまり明らかではありません。最近特によく聞く質問は、企業は依然としてコンテンツの構造化と充実化に投資する必要があるのか​​、それとも LLM は非構造化および充実していないテキストから満足のいく結果を生み出すことができるのか、というものです。結局のところ、OpenAI、Anthropicなどの基本モデルは、生のテキストで訓練され、初期訓練プロセス中にHTMLタグやXMLタグなどのマークアップを明示的にまったく考慮していないことを考えると、かなり素晴らしい仕事はします。

My answer to this question is that investing in structuring and enriching your enterprise content turbocharges the results you can deliver via an enterprise LLM. It’s not an either/or question. Structured content enables LLMs to deliver on their promise.
この質問に対する私の答えは、エンタープライズ コンテンツの構築と強化に投資することで、エンタープライズ LLM を通じて提供できる結果が大幅に向上するということです。それはどちらか一方の質問ではありません。構造化コンテンツにより、LLM は約束を果たすことができます。

Garbage-in Garbage-Out
ごみを入れれば、ごみが出てくる

LLMs suffer from a GIGO (garbage-in garbage-out) problem. They learn patterns and associations from the data they are trained on. If the training data is flawed, contains biases, or inaccuracies, or includes low-quality content, the model will learn and replicate those flaws in its responses. LLMs don't have inherent knowledge or understanding. They rely on the statistical patterns present in the data they were trained on.
LLM は GIGO (ごみを入れれば、ごみが出てくる) 問題に悩まされています。彼らは、訓練されたデータからパターンと関連性を学習します。訓練データに欠陥があるか、バイアスや不正確さが含まれているか、低品質のコンテンツが含まれている場合、モデルはそれらの欠陥を学習し、応答で再現します。 LLM には固有の知識や理解がありません。彼らは、訓練に基づいてデータに存在する統計パターンに依存します。

Why does this matter in an enterprise knowledge management scenario? Well, the two initial objections to the use of LLMs in the enterprise centered on data protection and accuracy. Let’s look at each of these.
企業のナレッジ マネジメント シナリオにおいて、これがなぜ重要なのでしょうか?　そうですね、企業内での LLM の使用に対する最初の2つの反対意見は、データ保護と正確性を中心にしていました。それぞれを見てみましょう。

Data protection
データ保護

It became evident almost immediately that the issue of protecting sensitive enterprise data would be solved quickly. Today there are approaches like Amazon’s Bedrock service and Microsoft’s Azure OpenAI Services that solve this problem in their private clouds. Enterprises can also license pre-trained foundation or base models to run on-premises if desired, or experiment with open source. Data does not have to leave your enterprise perimeter.
企業の機密データの保護の課題はすぐに解決されることがほぼすぐに明らかになりました。現在、Amazon の Bedrock サービスや Microsoft の Azure OpenAI サービスなど、私的クラウドでこの問題を解決するアプローチが存在します。企業は、必要に応じて、事前訓練された基盤モデルまたは基本モデルのライセンスを取得して、オンプレミスで実行したり、オープンソースを実験したりすることもできます。データは企業の境界を離れる必要はありません。