LangChainの解説です。
⏱️ タイムスタンプ
00:00 イントロダクション
01:30 アプリ・アーキテクチャ
03:50 ローカルインストール
07:05 Google Colabのランオフ
公開日:2023年4月21日
※動画を再生してから読むのがオススメです。
やあ、みんな元気かい?
AIの世界でのYouTubeビデオへようこそ。
今日の動画では、皆さんがLangChainとGPT-4を実際に活用して、PDFやファイルをスキャンして回答や追加情報を提供し、PDFやその中の情報を活用してより良いプロンプトや生成された回答を手助けする特定の方法でチャットボットを作成する方法を紹介します。
これは、PDFをある方法で要約したものです。
それでは、実際の動画に入る前に、皆さんがチャンネル登録して通知ベルをオンにし、動画にいいねをしていただけると本当に嬉しいです。それは確かにアルゴリズムを助けることになります。
AIの世界では、さまざまな側面から多くの価値があるので、ぜひチェックしてみてください。
それでは、さっそくビデオに入りましょう。
実際にどうすればいいのかの要点に入る前に、基本的にアーキテクチャと、これがどう機能するのかを説明したいと思います。
今回は、デスクトップにローカルでインストールすることはありません。それは少し複雑なので、これは誰でも実際に行うことができる簡単なアプローチであり、重い技術を使ってこれを実行したり、ローカルデスクトップで操作したりする必要はありません。
実際にローカルにインストールする方法については、今後のビデオで紹介したいと思います。
しかし、今日のビデオでは、Google Colabをソースコードとして使用し、このアプリケーションを簡単にインストールし、ウェブ上でPDFファイルを要約するために使用することを説明します。
さて、PDFチャットボックスの仕組みですが、まず最初に、要約したいPDFドキュメントを用意します。
そして、このPDFをアプリケーションで利用し、さまざまな塊に分割します。
例えば、このようなPDFがあった場合、異なる段落や異なるページが存在することになります。
実際のアプリケーションは、ファイルの大きさや、実際のPDFに含まれるテキストや単語の量に応じて、それを別のチャンクに分割します。
そして、埋め込みを作成します。
そして、その埋め込みをさまざまなチャンクに保存し、関連するアンケートや、実際にチャットボックスを使用する際の関連セクションなどに使用されます。
そして、その塊の中にある各情報を取り出し、異なる機能のタイトルや、それが何であるかという異なるアイデアで分離します。
チャットボットやGoogle Colabのウェブソースで検索すると、基本的に必要な時に関連する情報を引き出してくれます。
つまり、基本的には保存され、関連するドキュメントはサイドに置かれる。
チャットボットがこれらのコードやプロンプトをソースとする場合、言語モデルは単体の質問を受け取り、チャンクに埋め込まれている関連ドキュメントを利用します。
そして、実際のプロンプトに関連する特定の事柄を取り出します。
チャンクからのプロンプトに関連するものを見つけると、その答えを取り、それが何であるかを教えてくれます。そして、そのプロンプトに基づいた答えを出します。そして、それがここで見る回答です。
これは非常にユニークで、多くの人にとって非常に有益な技術です。
インストールも簡単ですし、皆さんにとって非常に有益な技術なので、これを作るために実際に貢献した人たちを応援することを強くお勧めします。
さて、実際にローカルにインストールしたい人のために、その方法を少し説明します。
まず最初に、Gitが必要です。これはGitHubのリポジトリをデスクトップにクローンするアプリケーションなので、これが必要です。
次に、Pythonが必要です。これは、特定のパラメータやコードのアプリケーションをデスクトップにインストールするためのもので、最後に、コードエディターが必要です。
個人的には、他のビデオでも説明しているように、Visual Studio Codeを使用しています。
非常に使いやすく、コマンドプロンプトを実際に使うよりも、ある意味より堅牢で、ある種の方法にも適用できるため、はるかに優れていると感じています。
ですから、コードエディターとしてVisual Studio Codeを使うことを強くお勧めします。
さて、やり方はいたって簡単です。
実際のリポジトリをコマンドプロンプトにクローンし、それができたら、パッケージをインストールします。
パッケージをデスクトップにインストールできたら、コードエディターでそれを開き、その段階でさまざまなキーを入力します。
APIキーとPineconeキーが必要で、これはPineconeです。
APIキーだけでなく、無料トライアルもありますよ。
無料トライアルがあり、OpenAIのAPIキーのセクションに行くと、これらのキーを入手できます。
Pineconeの場合は、Pineconeのウェブサイトを検索して、そこからAPIキーを取得できます。
それを.envファイルに貼り付けて、API環境も貼り付ける必要があります。
つまり、基本的にはその地域のどこにいるかということで、それを環境の部分に貼り付けるわけです。
インデックスには名前をつけることができます。
さて、これで何ができるかというと、チャットボックスのローカルでこれを実行することになります。
例えば、ローカルのPinecone APIでチャットボックスを実行し、アンケートを活用したり、PDFファイルでやろうとしていることをまとめたりすることになります。
さて、この部分は非常に簡単で、当然ですが、その後、PDFファイルの変換という点では、アプリを実行することもできます。
基本的には、実際のPDFをdocフォルダに入れて、スクリプトnpmを実行するだけで、実際の文書への取り込みと埋め込みができます。
これは、ドキュメントとアプリケーションをペアリングするためのもので、そのように非常に簡単です。
それができたら、ローカルのPinecone APIをアプリケーションに設定し、実行をクリックするだけです。
そうすると、実際にチャットボックスを実行できるローカルサーバーにプロンプトを表示することができますので、基本的にはローカルで実行することができます。
もちろん、これはローカルでできることを大まかに説明したに過ぎません。
もっと詳しく説明したい場合は、別のビデオで説明します。
では、実際にGoogle Colabで実行する方法の要点を説明します。Google Colabは、実際のローカルデスクトップを使わずに実行できる別のソースコードです。
さて、この方法には2つのオプションがあり、どちらも実際にPDFファイルのプロンプトや要約に役立つので、以下の説明で両方のオプションを残しておきます。
知らない人のために説明すると、LangChainはブロックチェーンベースの言語データ市場で、実際に自然言語処理アプリケーション用の言語データにアクセスし購入することができます。
自然言語処理モデルのための高品質なトレーニングデータを効率的に入手する方法を提供します。
さて、GPT-4は基本的に知らない人のためのものです。
これはOpenAIによって開発されたGPT(Generative Pre-trained Transformer)言語モデルで、LangChainとGPT-4をこのアプリケーションのチャットボックスに組み込んで、PDFファイルの質問者として役立ち、要約も行うのに役立ちます。
さて、このGoogle ColabでPDFファイル用のChatGPTチャットボットを作るには、まずPDFのドメインに特化した学習データを入手する必要があります。
そこで、まず最初に、Google Colabができたら、いつでも、まず、自分のドライブにコピーを保存しておきます。
それで、説明の中にリンクを置いておきますが、これが基本的に最初のステップです。
そして、実際のサーバーに接続し、RAMや使用量を利用して実際に操作してみます。
さて、まず最初に、すべてのパッケージをインストールする必要があります。
LangChainやOpenAIのパッケージやツール、その他このアプリ全体を動かすための基本的なアプリケーションをインストールすることになります。
そして、それができたら、次はパッケージを開くことから始めましょう。
この場合、OpenAIキーとPine Coneキーを取得する必要があるので、OpenAIキーをここに貼り付けて、次のステップに進みます。
OpenAIのAPIキーを貼り付けたら、Google Driveとの接続をクリックします。
このボタンをクリックし、とにかく実行します。
すると、Google Driveに接続されます。
明らかに、私はこれをやりたくないので、このアプリケーションを実行しませんが、基本的にそれが終わったら、ルートファイルとファイルの場所が得られ、Googleドライブにアクセスして、PDFをアップロードした場所の場所をコピーすることでそれを行うことができます。
GoogleドライブにPDFをアップロードし、ファイルフォルダの保存先をコピーして、ここに貼り付ける必要があります。
今回は、Google Collabから実行しているので、ここに貼り付けました。
リーダーを起動すると、最初に話したように、各ページを分割して読み始めます。
そして、それが完了すると、異なる塊に積み上げられたすべてのテキストを見ることができるようになります。
それが完了したら、実際にアプリケーションに役立つ各機能を実行します。
この横にある再生ボタンをクリックすると、各チャンクから情報を取得するようになります。
これで、実際のアプリケーションやPDFからエンベッディングをダウンロードしたり、大規模言語モデルからエンベッディングをダウンロードして、実際にGoogle Colabでチャットボットを動かすための準備が整いました。
これらのそれぞれをダウンロードする必要があり、終わったら、PDFとチャットボットとのチャットを開始し、PDFから要約や価値を引き出すことができる最後のステップに到達します。
この例では、質問「この記事の著者は誰ですか?」をしたところ、チャットボットが記事の著者を(この名前は発音できないので試さない)と回答しているのがわかります。そして、著者は実際にはこういった人たちであることがわかります。
チャットボットと連携し、実際のPDFから情報を取得し始めたことがすぐにわかるからです。
もちろん、これはGoogle Collabなので、良いユーザーインターフェイスを得ることはできません。
もし本当にそうしたいのであれば、ローカルサーバーで実行する方法を紹介するために、より良いアピールするインターフェイスを作ることは可能です。
しかし、今回はGoogle Collabを使うことにしました。それは非常に簡単で、誰でも簡単にできるように、3つのボタンをクリックするだけで実行を開始できます。そして、コーディングのバックグラウンドがなくても大丈夫です。
もう1つの例である「GPTオールモデルのトレーニング費用はいくらですか?」という質問に対して、100ドルという回答が得られました。そして、それは、話題になったように、さまざまな情報をスキャンし、異なるカテゴリに分類します。
その結果、100ドルという答えが得られ、それを質問すると、このような答えが返ってきました。
このように、さまざまな質問と答えがありますが、このアプリケーションを実行するのは非常に簡単です。
このビデオが有益なものであったなら幸いです。
もし何か質問があったり、他に取り上げてほしいことがあれば、ぜひ教えてください!実際にこれを実行する方法について、さまざまなチュートリアルを提供します。
それでは、今日のビデオはこれでおしまいです。
下の説明にあるリンクをチェックすることを強くお勧めします。
もし、他に何か取り上げて欲しいことがあれば、必ずそうしますよ、みなさん。
このチャンネルを応援してくれて本当にありがとう。
たくさんの「いいね!」と応援をいただいて、本当にうれしいです。
もしまだこの前のビデオを見てなかったら、ぜひ見て、このビデオをシェアして、「いいね!」して、見たいものがあったらコメントしてね。
それでは、また次回お会いしましょう。