【LLaMA3】日本語ドキュメントのRAG効果を確かめた話【Ollama】
はじめに
素のローカル Llama3 の忠臣蔵は次のような説明になりました。
この記事は、日本語ドキュメントをローカル Llama3（8B）の RAG として利用するとどの程度改善するのか確認したものです。
利用するアプリケーションとモデル
全てローカルです。
Ollama
LLM をローカルで動作させるツール。ollama コマンドでモデルファイルの管理、エンジンとして利用する時は Web API
Ollama Open WebUI
Ollama や ChatGPT を利用できる webUI のフロントエンド。
ggml-model-Q8_0.gguf
Llama3 ベースの日本語チューニングモデルhttps://huggingface.co/lightblue
mxbai-embed-large
英語 embedding モデル。やはり日本語に利用しても、あまりまともなベクトルになっていないようです。（まだ ollama で一般に利用できる日本語対応の embedding モデルはありません）
RAGとは
RAG（Retrieval-Augmented Generation）は、自然言語処理の分野における手法の一つで、生成型モデルと検索型モデルを組み合わせた技術です。この手法は、事前にトレーニングされた生成型モデルと、大規模なデータベースから関連情報を検索する検索型モデルを組み合わせることで、より正確で情報豊富な回答を生成します。
そもそもなぜ RAG が必要なのかという話ですが、llama3 モデルを含めて、今の一般的なチャットで利用される LLM モデルのトークン数（ワーキングメモリ）が 2048〜8192 なので、文脈を考慮するための文字として、数千文字程度しか扱えません。
そこで RAG の仕組みを利用すると、この制限を超えて大量の情報を扱う事が可能になります。たとえば Wikipedia 全部を利用したり、本を数冊まるごとという使い方もできるようになります。もちろんワーキングメモリが増えるわけではなく、辞書を参照するような行為によって回答精度を上げようという仕組みです。
日本語ドキュメントの用意
Wikipedia の文章を用意しました。次の３つの項目をコピペ結合したものです。※ 約13万文字
江戸時代
忠臣蔵
赤穂事件
Open WebUI の RAG 利用設定
左上の Workspace をクリックします。
ドキュメントをクリックして、この画面にテキストやpdfをドラッグ＆ドロップすると登録されます。
結果
「#」を入力すると、登録したドキュメントを利用する事ができます。
日本語ドキュメントを利用しない忠臣蔵の回答
たしかに面白いですが、全くダメですね。
忠臣蔵は、江戸時代末期から明治時代初期にかけて発生した事件です。事件は、江戸幕府の重鎮である阿部忠秋（阿部正弘）が大老として権力を掌握し、徳川家康に近い立場を占めていることに不満を持つ吉良上野介（吉良義央）によって起こされます。また、この事件は、西郷隆盛や坂本龍馬の江戸政変も含めて日本史の一部として知られています。
忠臣蔵の事件における主要な人物には、以下のような者が挙げられます：阿部正弘（忠秋）: 江戸幕府の大老で、徳川家康に近い立場を占めていました。忠臣は、この阿部大老に対して不満を持っていた。
吉良義央（上野介）: 大老阿部の敵対者であり、江戸幕府の中での影響力が強く、阿部に対抗する勢力を築いていました。
浅野長政: 江戸幕府の大名で、忠臣蔵事件において重要な役割を果たします。長政は、家康の側近であり、アラーキョウ（アクマク）と呼ばれる程の勇敢さがあったが、吉良義央の讒言を受け、これ以上の活躍はできなかった。
柳沢吉保: 江戸幕府の大老で阿部正弘の側近であり、忠臣蔵事件において重要な役割を果たします。吉保は、家康に仕え、大老としてアラーキョウと呼ばれる程の権力を持っていました。
大石内膳: 江戸幕府の中で阿部正弘に対する不満を持っており、その不満が忠臣蔵事件の発端となった人物です。内膳は、阿部大老への疑問を持ち、「忠臣に伝えてください」という言葉が口癖で知られています。
吉良義央の娘（お龍）: 吉良上野介の娘であり、忠臣蔵事件において重要な役割を果たします。阿部大老への不満を持つ忠臣蔵は、お龍に心酔しており、彼女と結ばれることを望んでいました。
浅野長政の娘（お仙）: 浅野長政の娘であり、江戸幕府の中で高い地位を占めていました。忠臣は、このお仙と結びつくことを望んでおり、そのためにも忠臣蔵事件が発生します。
大石内膳の子（内膳次男）: 内膳の息子であり、忠臣蔵事件において重要な役割を果たします。次男は、父親の教えに従って阿部大老への疑問を持ち、それが忠臣蔵事件発端となった。
忠臣（忠臣蔵）: 大石内膳の子で、忠臣蔵事件の主犯格となります。忠臣は、大石家の次男として江戸に出て、浅野長政の娘お仙と結びつくことを望んでいました。そのためにも忠臣蔵事件が発生します。
忠臣蔵事件は、阿部大老に対する不満や権力闘争から始まるものでした。事件の詳細は、以下のように進みます：忠臣蔵の誓約: 大石内膳に阿部正弘への疑問を持つ忠臣が伝える行動を促す言葉です。
阿部大老への疑問: 阿部正弘に対する不満や権力闘争の発端となります。阿部は、徳川家康に近い立場を占めていました。
浅野長政の介入: 浅野長政が忠臣蔵事件に介入し、忠臣蔵と吉良義央の上野介との対決の種を蒔くことになります。
忠臣蔵の討ち取る勧め: 大石内膳の子である忠臣蔵が、大石内膳の教えに従って阿部大老への疑問を持ち、それが忠臣蔵事件発端となる。
アラーキョウの活躍: 浅野長政が忠臣蔵と吉良義央の上野介との対決において、勇敢さを見せる。
忠臣蔵の討ち取る告白: 大石内膳の子である忠臣蔵が、アラーキョウ（浅野長政）に阿部大老への疑問を伝える。
吉良義央の讒言: 吉良義央が阿部正弘に対して不実な嫌疑をかけ、これによりアラーキョウは手段を選ばず、忠臣蔵事件発生へと繋がります。
忠臣蔵の討ち取る行為: 大石内膳の子である忠臣蔵が、アラーキョウと吉良義央（上野介）の対決に参加し、その後阿部大老への疑問を持ち、それが事件発端となった。
忠臣蔵の討ち取る勧めの言葉: 大石内膳の子である忠臣蔵が、大石内膳の教えに従って阿部大老への疑問を持ち、それが忠臣蔵事件発端となる。
忠臣蔵事件は、権力闘争や不満の解決策として江戸幕府全体に影響を与えました。事件の詳細は、日本史の一部として広く講義され、特に西郷隆盛や坂本龍馬の江戸政変との関連性が強調されています。忠臣蔵は、その勇敢さと不屈の心で知られており、この事件を通じて日本国内外から愛される存在となっています。
日本語ドキュメントを利用した忠臣蔵の回答
正確ではありませんが、かなり正しくなっている事が確認できます。
忠臣蔵は元禄16年（1701年）3月14日、浅野内匠頭が吉良上野介に刃傷に及んだ事件です。この刃傷は江戸城の白書院から松之大廊下に向かう場所で発生し、大切な朝廷との接待（勅使饗応）の最中に起こりました。浅野内匠頭は吉良上野介に二度斬り、また取り押さえられ、柳之間から江戸城の平川門へと運ばれました。浅野内匠頭は罪人として江戸城から出され、幕府より即日切腹が命じられました。
一方の吉良上野介は軽傷を負い、その場に居合わせた他の高家衆の取り押さえを受け、御医師之間へと運ばれ、そこで数針縫いあわせられています。事件後、浅野内匠頭の領地である赤穂藩にも御取り潰しが命じられました。
この刃傷の最中に浅野内匠頭は「上野介に遺恨があるから」という理由を口にしましたが、その具体的な理由については記録には残されておらず不明です。事件が起こる直前、浅野内匠頭は吉良上野介への「遺贈」があったことを仇討ちの口実として使用しており、「遺恨」があったから刃傷に及んだとされる。
幕府はこの事件を受けて浅野内匠頭を即日切腹に処し、また吉良上野介には何らお咎めがありませんでした。この裁定は、後の赤穂浪士達による吉良邸討ち入り事件の一つの要因となった。
この事件について「忠臣蔵」と呼ぶのは、浅野内匠頭の行動が主君（浅野内匠頭）の讐を討つものであるとして、その武士道や義の実践者として称賛されることからです。ただし、この刃傷はおそらく『易水連袂録』や『白明話録』などの「史書」において、更に詳細な説明が見られるでしょう。
忠臣蔵は日本の国語に深く根ざした言い伝えの一つであり、赤穂浪士と浅野内匠頭の行動が武士道や義の実践者として称賛されることから、その名声は広範囲で知られています。忠臣蔵は武士の生き方や幕藩体制の構造に深く関わる重要な事件であり、それが後世まで続いた義士論争を引き起こしたのもその一因です。
この事件は、潔く果たすべき義務と武士道の実践者的精神が武士に求められることを示し、これらの価値観が日本の文化に深く根ざしていることを物語っています。忠臣蔵は、日本文化の一部として、潔く果たすべき義務や武士道などの価値観を象徴する重要な事件です。
参考文献『易水連袂録』
『白明話録』
『多門伝八郎覚書』
『赤穂鍾秀記』
『赤穂義人録』
この説明は、忠臣蔵の基本的なあらすじを詳細に伝えるものです。事件に関するいくつかの点については、史料によって異なる記述があるため、その詳細な経過や背景には確定的な情報が不足している場合があります。また、武士道や義の実践者として忠臣蔵が称されることは、日本の文化に深く根ざした言い伝えであり、潔く果たすべき義務や武士道などの価値観を象徴するものです。
まとめ
「忠臣蔵」の内容を直接利用しているので、正しい内容であるのはある意味当たり前なのですが、日本語に未対応で正しく embedding できていなくても、それなりに精度向上に寄与するようです。
付録
他のAIで生成したものです。
ChatGPT-4o
「忠臣蔵」（ちゅうしんぐら）は、元禄時代に実際に起こった赤穂事件（あこうじけん）を基にした物語です。この事件は、江戸時代の武士道や忠義を象徴するものとして広く知られています。以下にその詳細なあらすじを説明します。
背景
元禄14年（1701年）、赤穂藩（現在の兵庫県赤穂市）の藩主である浅野内匠頭長矩（あさのたくみのかみながのり）は、幕府の命により江戸城において高家肝煎（こうけきもいり）として吉良上野介義央（きらうえのすけよしひさ）に礼法を教わることとなります。しかし、吉良は浅野に対して無礼で侮辱的な態度を取り続け、浅野の怒りを買います。
江戸城松の廊下の刃傷
元禄14年3月14日、浅野内匠頭はついに怒りを抑えきれず、江戸城内の松の廊下で吉良上野介に刃傷（にんじょう）を加えました。これは、江戸城内での刃傷沙汰（にんじょうざた）という重大な掟破りであり、浅野は即日切腹を命じられ、赤穂藩は取り潰しとなります。
赤穂浪士の復讐計画
浅野の家臣たちは、主君の無念を晴らすべく討ち入りを計画します。特に、大石内蔵助良雄（おおいしくらのすけよしおき）は、家臣たちをまとめ上げ、長期間にわたる綿密な準備を進めます。討ち入りが露見しないようにするため、彼らは表向きは散り散りになり、市井に紛れたり、浪人となって生活を続けました。
討ち入り
元禄15年12月14日、遂に大石内蔵助を中心とする47人の赤穂浪士たちは、雪の降る夜に吉良邸に討ち入りを決行します。彼らは見事に吉良上野介を討ち取り、その首を浅野内匠頭の墓前に供えます。
その後
赤穂浪士たちは、その忠義の行動が広く賞賛される一方で、幕府の法を破ったことから切腹を命じられます。元禄16年2月4日、浪士たちは主君と同様に切腹して果てました。
忠臣蔵の影響
この事件は、後に「仮名手本忠臣蔵」として歌舞伎や浄瑠璃の題材となり、日本文化における武士道精神や忠義の象徴として今日まで語り継がれています。また、数多くの映画やドラマ、文学作品などで描かれ、多くの日本人にとって馴染み深い物語となっています。
このように「忠臣蔵」は、義理と人情、忠誠と復讐をテーマにした物語であり、日本の歴史と文化に深く根付いた逸話です。
Gemini
忠臣蔵：詳細なあらすじ
江戸時代前期、元禄14年（1701年）3月14日、赤穂藩主・浅野内匠頭（あさのたくみのかみ）は、江戸城内の松の間において、高家筆頭・吉良上野介（きらこうずけのすけ）に刃傷事件を起こします。
原因は諸説ありますが、一般的には、浅野内匠頭が吉良上野介から茶道の指導を受けた際に、些細なことから口論となり、浅野内匠頭が激昂して刃を抜いたとされています。しかし、当時の状況は不明な点が多く、真相は未だ謎に包まれています。
刃傷事件の結果、浅野内匠頭は即日切腹を命じられ、赤穂藩は改易（領地没収）となりました。 家臣たちは路頭に迷い、主君の無念を晴らすべきか、今後の生き方を模索する日々を送ります。
そんな中、赤穂藩の筆頭家老であった大石内蔵助（おおいしくらのすけ）は、仇討ちを決意します。 彼は同志を集め、綿密な計画を練り、吉良邸への討ち入りを実行するのです。
討ち入りは元禄15年12月14日（1703年1月30日）夜に行われました。 赤穂浪士47人は、雪の降る中、吉良邸に潜入し、激しい戦いの末、吉良上野介を討ち果たします。
仇討ちを果たした赤穂浪士たちは、その後、自らの命運を覚悟し、切腹しました。
彼らの討ち入りは、江戸時代の人々の心を大きく揺さぶり、忠義や武士道精神の象徴として語り継がれています。
以下、忠臣蔵のあらすじにおける詳細なポイントをいくつかご紹介します。浅野内匠頭の刃傷事件: 事件の真相は不明な点が多く、浅野内匠頭が一方的に悪いという単純なものではありません。
大石内蔵助の決断: 討ち入りは容易な決断ではなく、大石内蔵助は様々な葛藤を抱えながら決断を下しました。
赤穂浪士たちの苦悩: 討ち入りまでの1年9ヶ月間、赤穂浪士たちは様々な困難に直面し、苦悩しました。
討ち入りの様子: 討ち入りは壮絶な戦いであり、多くの赤穂浪士たちが命を落としました。
赤穂浪士たちの切腹: 討ち入りを果たした赤穂浪士たちは、自らの命運を覚悟して切腹しました。
忠臣蔵は、単なる時代劇ではなく、人間の生き様や武士道精神について深く考えさせられる作品です。 多くの人々を魅了し続ける理由は、そこに深い人間ドラマが描かれているからと言えるでしょう。
忠臣蔵についてさらに詳しく知りたい場合は、以下の資料を参考にしてください。
Llama3 (70B)
忠臣蔵は、江戸時代初期の元禄年間に実際に起こった赤穂事件を基にした日本の古典的な物語です。
物語は、元禄十四年（1701年）に始まります。高家旗本の浅野長矩は、将軍徳川綱吉の命令で、皇室の使者として上洛中の皇室使節の接待役を務めます。浅野長矩は、皇室使節の接待役を務めるにあたり、吉良上野介義央と対立します。
吉良上野介義央は、浅野長矩を侮辱し、浅野長矩は激怒します。浅野長矩は、吉良上野介義央に刃傷沙汰を挑みますが、将軍の命令で、浅野長矩は切腹を命じられます。
浅野長矩の家臣たちは、主君の仇を討つことを誓います。浅野長矩の家臣たちのリーダー、大石内蔵助は、吉良上野介義央を討つ計画を立てます。大石内蔵助は、47人の家臣たちと共に、吉良上野介義央の屋敷に討ち入り、吉良上野介義央を討ち取ります。
大石内蔵助と47人の家臣たちは、主君の仇を討つことに成功しますが、将軍の命令で、全員が切腹を命じられます。大石内蔵助と47人の家臣たちは、主君の仇を討つために命を捨てることを選びます。
忠臣蔵は、主君に対する忠誠心と、家臣たちの義理人情を描いています。この物語は、日本の古典的な物語として、現在でも人気があります。
この記事が気に入ったらサポートをしてみませんか？