【GPTs】LLaMA3-70bをGPTsに組み込んで、LLMを使い分けて回答を強化する
背景
April 18, 2024に発表されたLlama3-70b-8192は、Metaによって開発された最新の大規模言語モデルの一つで、Llama3シリーズに属しています。このモデルは70億のパラメータを持ち、8192トークンの最大コンテキストウィンドウを特徴としています。このモデルは特にテキスト生成タスクに使用され、質問応答、言語翻訳、感情分析など、多岐にわたる用途で利用可能です (Amazon Web Services, Inc.)。
Llama3-70bは、様々なデータソースからの情報を組み合わせることで訓練されており、コード生成や理論的推論タスクでの性能向上に貢献しています。また、データ並列化、モデル並列化、パイプライン並列化などの技術を利用して効率的に訓練され、大規模GPUクラスタ上での高い計算効率を実現しています (ai.meta) 。
そんなすごいLLMがオープンソースだなんて。是非優れたAI同士を無料で対話させ続けてたいと考えGPTsに組み込むことにしました。
動作確認
まずLlama3-70b-8192が無料で使えるイーロンマスクが率いるxAI社のgroqに登録し、API Keysを取得してGoogle Colabで動かしてみます。
CPUのモデルでも処理は2秒くらいでした。結構軽いモデルなのがわかります。（やり方は割愛）
GPTsに組み込む
ActionsにSchemaを追加します。
modelは以下に紹介されているものが使用できるようにして、デフォルトでモデルは「llama3-70b-8192」を設定しています。
GPTsで動作確認
「AIの1年後についてgroqとChatGPTの意見を聞きたい。 まずはgroqから考えを提示してください。」と質問をして、何故か最初にAPI通信のエラーが出ます（要修正）
その後の流れとしては、groqの意見を踏まえてChatGPTはどう考えるのかと質問をしています。
総評
これ組み込むのまぁまぁ時間掛かりました。だからなんやねん。って話ですが、これを使って何かサービスを考えます。一応、「Llama3がGPTsに組み込めるんだよ」って報告ですね。
この記事が気に入ったらサポートをしてみませんか？