記事一覧
それなりに日本語ができるLlama-3-8Bを作る試み
前回の記事「Llama-3のファインチューニング(QLoRA)を試す」では、思ったより良い結果が得られました。
世間はgpt-4oで賑わっているところですが、さらに高い日本語能力を目指して、rinna社が公開している日本語継続事前学習モデル「llama-3-youko-8b」をベースとして使用し、最近流行りのChatVector手法と組み合わせていろいろ試してみました。
目標
今回は以下の目標
Llama-3のファインチューニング(QLoRA)を試す
1年くらい前と比べるとローカルで動かせるような小さいモデルの性能も上がってきたような気がします。
少し前にMetaからLLama-3がリリースされたので、何番煎じかわかりませんがQLoRAによるファインチューニングを試してみました。
※ 機械学習やAIに関する数学的な理論などについてはズブの素人です。
Llama-3
今回使用するモデルはLlama-3-8B-Instructです。
Llam
ChatVRMのバックエンドとしてLangChain（とFastAPI）を使う
ChatVRM
PixivさんがChatVRMという素晴らしいアプリケーションを公開してくれました。ブラウザ上でVRMモデルを表示し、Koeiro APIによる文章読み上げや、感情表現をしてくれます。MITライセンスなので、改変などもしやすそうです。
ChatVRMでは、以下のようにOpenAIのChat Completion APIを直接叩いてキャラクターの返答を生成しています。stream
suno-ai: barkをローカルで動かすときのメモ
環境はWindows10, RTX3080、CUDAはインストール済み。
venvで仮想環境作成して実行。
READMEのInstallationだけだといくつか警告が出たので対応。
↓で環境にあったコマンドを確認してPyTorchを入れておく
コードの最初の方に↓を入れておく
import torchaudiotorchaudio.set_audio_backend("soundfile
（備忘）保存したFAISS indexを使ってTimeWeightedVectorStoreRetrieverを動かす【LangChain】
Time Weighted VectorStore Retriever
最近、LangChainにTimeWeightedVectorStoreRetrieverというRetrieverが実装されました。これは、意味の類似性とドキュメントのアクセス時刻に基づいて検索結果をランク付けすることができます。これにより、関連性と新鮮さを同時に考慮できます。
例えば、キャラクターが以前に学んだ情報が時間
ChatGPTがStable Diffusionのプロンプトを生成してくれるWebUI(AUTOMATIC1111)向け拡張機能を作った
見出し画像は、本拡張機能で「画像生成AI関連記事の見出しに良さそうなイラスト」とリクエストして出力されたプロンプトで生成しました。
はじめにStable Diffusion WebUIの拡張機能を作りました。
ChatGPTとStable Diffusionの組合せは、何番煎じか分からないので、あまり需要もなさそうですが、配布もします。
それにしても、ChatGPTが出てきてから、基礎的な積み
ChatGPT APIとLangChainでいろいろと覚えていてくれるチャットボットを作りたい② 会話とプロンプトの例
前回の記事↓のおまけのようなものです。
実際の会話例とプロンプトを紹介します。
ソースコードは整理できたらgithub等で公開するかもしれませんが難航しています。
設定・前提
非常に雑なプロンプト（キャラ設定）で進めます。
口調はGPT-3.5では具体例がないと難しい傾向がありますが、今回はあまり重要ではないので良しとします。
以降、LangChainの「verbose=true」設定やp
ChatGPT APIとLangChainでいろいろと覚えていてくれるチャットボットを作りたい
初投稿です。この手の情報は既に大量にありますが、備忘も兼ねて書きます。
ChatGPTは文章を要約してもらったり、アイディア出しを手伝ってもらったりと、幅広く活用できますが、それ以外に、キャラクターと会話したいみたいな需要も多々あるかと思います。
私もその延長で、会話やちょっとしたタスクをやってくれるアシスタントみたいなものがあったら楽しそうだ と思ったのが今回取り組んだきっかけです。
Web版