RecurrentGPTというテキスト生成モデルについて説明しています。Prompt engineeringと長期および短期メモリを組み合わせて、より文脈に即した出力を生成します。動画ではフレームワークやRecurrenGPTの利点、制限、実験結果について紹介されます。最後には、RecurrenGPTを使用してファンタジー小説の段落を自動生成するデモも行われます。
公開日:2023年5月24日
※動画を再生してから読むのがオススメです。
やあ、みんな元気かい?
WorldofAIのYouTubeビデオにようこそ戻ってきました。
今日のビデオでは、RecurrentGPTと呼ばれるプロジェクトに焦点を当てたいと思います。
RecurrentGPTは、テキストの段落を生成することができる特別な種類のモデルです。
ChatGPTでは、文脈に沿った生成コンテンツを大量に出力することができないため、このような機能は限定的です。
RecurrentGPTが何をするかというと、それはプロンプトエンジニアリングというテクニックを使用して、それを一般的なLSTMニューラルネットワーク、つまりそのニューラルネットワークで使用される長期または短期記憶システムのようにします。
ここでは、情報を表現するために数字を使う代わりに、テキストの段落を使います。
現在、各ステップで、RecurrentGPTは新しいテキストの段落と次の段落の短期計画を取得し、それが生成したすべての以前の段落を見て、より関連性のあるものを選び出します。これは特殊な検索方法を使って、より多くのコンテキストと情報を提供します。
さて、RecurrentGPTには、最近のステップから重要な情報を記録しておく短期記憶もあります。
これは、新しいパラグラフを計画し、大規模な言語モデルに依頼するために、現在のパラグラフと並行してメモリを使用します。
また、長期記憶も、前のステップで生成したもののうち、重要な部分を記憶して更新します。
これが、ChatGPTができることと比較して、どのように素晴らしい、そして大きなアウトプットを提供することができるのか、そのちょっとした内訳です。
今日のビデオで紹介するのはこれです。
現在のRecurrentGPTができることを示すフレームワークについて、もう少し深く説明するつもりです。
また、実際にどのようにこのツールを使って、さまざまなユースケースに活用できるのか、デモを交えて、いくつかの例を紹介します。
まだ私のツイッターをフォローしていない方は、ぜひフォローしてください。
通知ベルをオンにすれば、最新のAIニュースをここで入手できます。
まだ購読していない方は、ぜひ購読してください。私は常に私のチャンネルにAIコンテンツの最新のアップデートを投稿していきます。
チャンネル登録をして、通知ベルをオンにしてください。
そして、このビデオに「いいね!」してもらえると、アルゴリズムの助けになるので、とてもうれしいです。
そして、もしまだ私の以前のビデオをご覧になっていないのなら、ぜひそうしてください。大量のコンテンツと価値があり、間違いなく皆さんの役に立つでしょう。
では、さっそくビデオに入りましょう。
実際にビデオに入る前に、RecurrentGPTで何が起こっているのか、より深く理解していただきたいと思います。
RecurrentGPTは、各時間ステップで、システムを定式化し、利用することでアウトプットを出しますが、その際、2つのインプットを受け取ります:テキストのパラグラフと、次のパラグラフの内容を概説する簡単なプランです。
これは、イントロで強調したとおりです。
これらの入力は、前の時間ステップで生成されたものです。
そして、このモデルは、別の注意メカニズムを利用して長期記憶にアクセスします。長期記憶には、以前のすべての生成パラグラフの要約が含まれています。
そして、この長期記憶をハードディスクに保存し、短期記憶を利用して、より大きなパラグラフを生成するための最適な方法と、RecurrentGPTで探そうとしているもののより文脈に沿った表現を含む、新しいパラグラフをより効率的に生成する方法を提供することができるのです。
このように、実際のアプリケーションは、自分自身を最適化して機能させるのです。
本日のビデオでは、これを紹介します。
今、私たちが話し合うことになるすべてのことの核心に入る前に、私はこのアプリケーションのアーキテクチャについてもう少し詳しく説明したいと思います。
このフレームワークでは、基本的に言語モデルでリカレントプロンプティングを可能にすることを示し、これはリカレントニューラルネットワークを刺激することで実現されています。
自然言語コンポーネントを利用し、さまざまなプロンプトでリカレント計算グラフを定義しています。
これはある意味、より大きな出力を得るためにプロンプトエンジニアリングを利用したアプリケーションと言えるでしょう。
では、どのようにしてより大きな出力を得ることができるのか、もう少し詳しく説明します。
今、この論文については、あなたが読む機会があれば、私はそれを下の説明に残しますが、その論文は、一部の先行研究がTransformersに再帰メカニズムを追加しようと試みたことを述べています。Transformersは、多くの大規模な言語モデルの基本アーキテクチャです。
これらの研究は、長いテキストのモデリングと生成に有望であったが、多くの場合、アーキテクチャの大幅な変更を必要とし、より大きなコンテキストを出力する場合には、本当にうまくスケールしないかもしれない。
現在、ほとんどの言語モデルは、最小限の変更でオリジナルのTransformerアーキテクチャに依存しています。
しかし、この場合、大規模言語ベースのアプローチであるRecurrentGPTは、さまざまなRNNの再帰メカニズムを模倣しているのです。
さて、この図では、このコンセプトの図解を見ることができます。
RecurrentGPTでは、長期記憶と短期記憶の要素が、Hidden StateとInput and Output Stateと同様に、Cell Stateというものを使用していることがわかります。
これはどういうことかというと、実際のプロンプトに入力されるさまざまなパラグラフの自然言語表現を置き換えているのです。
そして、これによって、より大きな出力を得るために、さまざまなタイプのプロンプト工学を刺激する再帰メカニズムが背後で再生されています。
さて、各時間ステップでRecurrentGPTが行うことは、前回お話したように、テキストのパラグラフを受け取ることです。
次の段落の簡単な計画があります。
そして、前のステップから生成された入力から、それはそれらの前のステップを利用してあなたにフレームワークを提供し、次の段落の最良の出力を提供します。
そしてそれがどのように機能するかというと、出力が選択されて次の段落に送られ、それが私が元の段落を作り出すために作成した同じタイプのステップを選び、次の段落を生成するために異なるものを使って言語モデルの力を活用し、入力を非常に効果的に組み合わせてテキストを生成します。
しかも、非常に安く、非常に効率的に使うことができます。
だから、このケースでは、みんな、私たちは実際のアーキテクチャについてより良い理解を持つことができました。さらに詳しく入力と出力について理解しましょう。
少し下にスクロールすると、言語ベースのビルディングブロックについて説明する見出しが表示されます。
RecurrentGPTには2つの主要コンポーネントがあり、プロセスの各ステップで入力と出力を見ることができます。
最初の入力は、明らかにシステム内で入力した段落です。
ここで最終的な出力テキストが追加され、この段落はコンテンツと呼ばれます。
次に、2つ目の入力は、次の段落を生成するためのアウトラインを示す入力である。
これはプランと呼ばれるもので、こちらで見ることができます。
コンテンツは通常、200~400字程度で構成され、基本的にはすでに読みやすい形式になっています。
そして、主な情報や最終的な文章に盛り込まれるアイデアが書かれています。
一方、アウトラインは3~5文程度で構成されるため、より短いプランがあります。
これは、こちらで述べていることです。
次の段落で何を生み出せるか、その指針になるものです。
さて、各ステップで、コンテンツとプランが前のステップを生成し、それらはリターンGPTと呼ばれます。
それゆえ、RecurrentGPTと名付けられたのは、与えられた情報の前のステップを基にモデルが構築することができるからです。
与えられたプロンプトに基づき、新しいコンテンツを生成します。
RecurrentGPTでは、コンテンツを生成するだけでなく、プランも生成するように特別に設計されています。
これは、このアプリケーションの重要な特徴のひとつで、将来のコンテクストのために何を生成しようとしているのか、計画を立てることができます。
これは、明らかに生成されたテキストの解釈可能性を高めることで実現されています。
これは、人間だけでなく、アプリケーションを実行している実際のコンピュータとの相互作用を促進するものです。
計画を提供することで、ユーザーは実際の一般的なコンテンツをより簡単に理解し、編集することができます。これは、ChatGPTやRecurrentGPTを利用する際に、より良いユーザー体験のための簡単な促しを提供します。
それでは、RecurrentGPTの長所をいくつか見てみましょう。
ご存知のように、RecurrentGPTは長文を生成するためのユニークなアプローチを提供します。
しかし、実際にどのような方法があるのでしょうか?
もちろん、これは彼らが語ったいくつかのポイントです。
彼らは効率性について話しましたが、これは基本的にAIを使用して生成されるより大きなコンテキストの進捗を作ることで人間の労力を減らすことができることを示しています。
この場合、RecurrentGPTを使えば、非常に簡単かつ効率的に、生成しようとする内容の大きなものを簡単に得ることができます。
また、RecurrentGPTの言語ベースの内部状態をユーザーが直接観察できるため、解釈しやすいことも大きな利点です。
これは、基本的に透明性が確保されているためで、実際のアプリケーションを使用する人は、モデルがどのようにテキストを生成しているかを理解し、コンテンツについてより詳しい判断を下すことができるのです。
これは、この実際のデモからわかることですが、コンテンツが次の段落を作るために使われているところや、次の定型応答を作るために使われているプランがわかるようになっているのです。
3つ目の利点は、RecurrentGPTのインタラクティブ性で、人間とモデルとのインタラクションが可能です。
自然言語を用いて生成されたテキストを編集・修正することができるため、より特定のタイプの回答を得ることができます。
あなたは編集することも、AIが次の段落に対してどういった計画をしているかを見通すこともできます。そして、それは個々の人物により具体的であるだけでなく、自分の好みにもより関連したより良い応答を得ることができます。
最後に、カスタマイズ機能ですが、これは、プロンプトを簡単に変更することで、現在のGPTをカスタマイズする柔軟性があることを意味します。
単語を1つ変えるだけで、もっと違うタイプの回答や、もっとユニークなタイプの回答を得ることができるのです。
これは、基本的には、ユーザーが自分の特定の興味やニーズに合わせてモデルを調整するために時間を取ることを許可しています。
生成されるテキストのスタイルを調整したり、パラメータをいじったり、実際のアプリケーションを使用してこのようなことを行うことができます。
ここで、実際の実験結果にもう少し焦点を当てたいと思います。なぜなら、実験的なGPTやRecurrentGPTが、同じ種類のものを強調しようとする他のタイプのモデルよりも優れている主要な結果を示しているからです。
今回の場合、RecurrentGPTの使用が効率を上げ、従来のコンピュータ支援執筆システムと比較してより長いテキストを生成することで、効率が改善されたことが見て取れます。
これは、このアプリが段落や章単位での進捗を可能にすることで、人手を減らし、より速く文章を出力できるようになったからです。
ホラー、SF、ロマンス、ファンタジー、ミステリー、スリラーなど、より良い結果をもたらすジャンルがあることがおわかりいただけると思います。
このような高度な効率化の結果を得ることができるのです。
私が話したい別の指標は、解釈性の向上です。これは、RecurrentGPTが高い解釈性を示すことができ、ユーザーが内部言語モデルを観察することを可能にしているからです。
意思決定のプロセスをより深く理解することができ、生成されたテキストがどのように出力されているのかを理解することができます。
最後に、対話性の向上についてもう少しお話ししたいと思います。基本的には、リカレントGPCがやろうとしているのと同じタイプの目標を達成しようとしている他のタイプのアプリケーションと比較して、対話的な体験を促進することができることを意味します。
これは、この研究論文で確認できることです。
時間があるなら、ぜひこの記事を読んでみてください。さまざまなタイプのことをよりよく理解するための情報がたくさんあります。
さて、最後に限界に焦点を当てますが、基本的に、私が実際に考えることができた唯一の限界で、それらが強調することは、再帰性がまだ多くの異なるタイプのエラーを発生させているということです。
時々、最も正確な情報を提供できないことがあり、これが成功を妨げている要素の一つです。
しかし、AIの世界ではどのようなアプリケーションにも不正確な情報を提供するものがありますから、これは小さな問題で、AIの世界が進歩するにつれて後で修正されるでしょう。
このアプリケーションを使う際には、ぜひ覚えておいていただきたいことです。
RecurrentGPTのレポリンクからレポを開くと、いくつかのサンプルがあるので、それを使って遊んでみると、より良いアイデアが得られるでしょう。
プロンプトエンジニアリングタブでは、段落の実際の出力が、段落の次の計画を作るためにどのように送信されるかを見ることができます。
プロンプトエンジニアリングが、次のキューで異なるタイプの段落を得るためにどのように使われるかを見ることができます。
この図2の次の例は、研究論文がRecurrentGPTをインタラクティブなライティングアシスタントとして、またインタラクティブなフィクションジェネレーターとして使用した場合の質的分析を示しています。
この図では、ハイライトされた計画や選択肢が、実際の実験中に人間のユーザーによって選択されたことを披露しています。
ここで、RecurrentGPTが非常に長い文章を生成するのに有効であるという点についてお話したいと思います。
これはChatGPTが実際にはできないことで、この場合、RecurrentGPTはコンテキストライティングタスクのための一貫性のある魅力的なコンテンツを扱い、生成する能力を示しています。
これは、テキストを生成する方法の種類を示す重要なソースを見つけることで、拡張テキスト生成中に品質と一貫性を維持するモデルの能力を示しています。
さらに、この図は、人間のアノテーターが様々な小説のジャンルでRecurrentGPTを好んで使用していることも示しています。
では、実際にRecurrentGPTのデモを見てみましょう。RecurrentGPTを使って生成された、より詳細な大きな応答も見てみましょう。
さて、タブには2つのタイプがあります:自動生成と人間がループ内、これは次の段落で何が作成されるかについての指示を提供します。
今回は、自動生成についてだけ紹介します。
例えば、この場合、ホラー映画を作りたいのですが、多分、ホラーではないでしょう。
ファンタジーで、例えば、キノコや魔獣が出てくるようなファンタジーの世界を題材にした小説を、私にください、書いてくださいとしましょう。
あなたがそれに説明を与えると、明らかにこれはただの小さなプロンプトですが、それに生成を指示することができ、それが生成を始めます。
さて、これが終わったら、すぐに戻ってきます。
さて、生成が終わると、書き込みができるようになったことが確認できます。
これはあくまで現在のステップです。
生成できるようになったのです。
さて、実際にはそれに異なる指示を与えて次の出力のための改訂されたタイプの段落を提供させることができます。そして、これが現在の1ステップであり、これによって大規模なコンテンツを生成することが可能であることがわかります。
さて、人間のループで何ができるかというと、生成段落の各ステップを弄ることができるのです。
だから、これがRecurrentGPTの美しいところで、AI生成コンテンツのより大きなコンテキストを提供することができ、これが私が本当にこのテーマを取り上げたい理由で、なぜならChatGPTはこのタイプの生成を妨げ、完全に無料で使いやすいからです。このデモは、このツールを実際にどのように活用できるかのより良い理解を得るのに役立ちます。
だから、このビデオがかなり有益だと感じたことを願っています、皆さん。なぜなら、これは多くの異なる用途に確実に使用される素晴らしいツールだからです。
さて、全体として、RecurrentGPTは、長期ネットワークと短期ネットワークの両方の長所を組み合わせ、さまざまなタイプの言語モデルを利用した賢いモデルであり、より大きなテキストを生成するための非常に有用なツールであると確信しています。
ですから、私は、さまざまなタイプのスクリプトやタイプ、より大きな文脈の文脈的生成AIを生成しようとするときは、必ずこれをさまざまな使用ケースに使用するつもりでいます。
ということで、ご視聴ありがとうございました。
本当に、本当にありがとうございました。
フォローをお願いします。
もしまだ購読していないなら、ぜひ購読してください、私にとって大きな意味があります。
もし皆さんが私の以前のビデオをまだご覧になっていないのなら、ぜひそうしてください。AR世界で先を行くために役立つ多くのコンテンツがあります。
その思考で、皆さん、このビデオを気に入っていただけたら、素晴らしい一日をお過ごしいただき、ポジティブさを広め、明るい笑顔を振りまき、次回お会いしましょう。
ご覧いただき、ありがとうございました。
また会いましょう。
ピース。