ニキ

ニキ

それなりに日本語ができるLlama-3-8Bを作る試み

前回の記事「Llama-3のファインチューニング(QLoRA)を試す」では、思ったより良い結果が得られました。 世間はgpt-4oで賑わっているところですが、さらに高い日本語能力を目指して、rinna社が公開している日本語継続事前学習モデル「llama-3-youko-8b」をベースとして使用し、最近流行りのChatVector手法と組み合わせていろいろ試してみました。 目標 今回は以下の目標を設定しました。 日本語の質問に対してより自然な日本語で回答できるようにする

ニキ

    • Llama-3のファインチューニング(QLoRA)を試す

      1年くらい前と比べるとローカルで動かせるような小さいモデルの性能も上がってきたような気がします。 少し前にMetaからLLama-3がリリースされたので、何番煎じかわかりませんがQLoRAによるファインチューニングを試してみました。 ※ 機械学習やAIに関する数学的な理論などについてはズブの素人です。 Llama-3 今回使用するモデルはLlama-3-8B-Instructです。 Llama-3は「日本語で回答してください」等の指示をすれば、それなりに違 和感のない日

      ニキ

      • ChatVRMのバックエンドとしてLangChain（とFastAPI）を使う

        ChatVRM PixivさんがChatVRMという素晴らしいアプリケーションを公開してくれました。ブラウザ上でVRMモデルを表示し、Koeiro APIによる文章読み上げや、感情表現をしてくれます。MITライセンスなので、改変などもしやすそうです。 ChatVRMでは、以下のようにOpenAIのChat Completion APIを直接叩いてキャラクターの返答を生成しています。stream: trueとすると、SSE (Server-Sent Events)というもの

        ニキ

        • suno-ai: barkをローカルで動かすときのメモ

          環境はWindows10, RTX3080、CUDAはインストール済み。 venvで仮想環境作成して実行。 READMEのInstallationだけだといくつか警告が出たので対応。 ↓で環境にあったコマンドを確認してPyTorchを入れておく コードの最初の方に↓を入れておく import torchaudiotorchaudio.set_audio_backend("soundfile")

          ニキ

        それなりに日本語ができるLlama-3-8Bを作る試み

        ニキ

          （備忘）保存したFAISS indexを使ってTimeWeightedVectorStoreRetrieverを動かす【LangChain】

          Time Weighted VectorStore Retriever 最近、LangChainにTimeWeightedVectorStoreRetrieverというRetrieverが実装されました。これは、意味の類似性とドキュメントのアクセス時刻に基づいて検索結果をランク付けすることができます。これにより、関連性と新鮮さを同時に考慮できます。 例えば、キャラクターが以前に学んだ情報が時間経過とともに徐々に薄れる場合や、新しい情報を優先して取得する場合に役立ちます。ま

          ニキ

          （備忘）保存したFAISS indexを使ってTimeWeightedVectorStoreRetrieverを動かす【LangChain】

          ニキ

          ChatGPTがStable Diffusionのプロンプトを生成してくれるWebUI(AUTOMATIC1111)向け拡張機能を作った

          見出し画像は、本拡張機能で「画像生成AI関連記事の見出しに良さそうなイラスト」とリクエストして出力されたプロンプトで生成しました。 はじめにStable Diffusion WebUIの拡張機能を作りました。 ChatGPTとStable Diffusionの組合せは、何番煎じか分からないので、あまり需要もなさそうですが、配布もします。 それにしても、ChatGPTが出てきてから、基礎的な積み重ねをある程度飛ばすことができるようになりました（例えば、プログラミング言語ごと

          ニキ

          ChatGPTがStable Diffusionのプロンプトを生成してくれるWebUI(AUTOMATIC1111)向け拡張機能を作った

          ニキ

          ChatGPT APIとLangChainでいろいろと覚えていてくれるチャットボットを作りたい② 会話とプロンプトの例

          前回の記事↓のおまけのようなものです。 実際の会話例とプロンプトを紹介します。 ソースコードは整理できたらgithub等で公開するかもしれませんが難航しています。 設定・前提 非常に雑なプロンプト（キャラ設定）で進めます。 口調はGPT-3.5では具体例がないと難しい傾向がありますが、今回はあまり重要ではないので良しとします。 以降、LangChainの「verbose=true」設定やprintで標準出力されたものを貼っていきます。概ね「> Finished cha

          ニキ

          ChatGPT APIとLangChainでいろいろと覚えていてくれるチャットボットを作りたい② 会話とプロンプトの例

          ニキ

          ChatGPT APIとLangChainでいろいろと覚えていてくれるチャットボットを作りたい

          初投稿です。この手の情報は既に大量にありますが、備忘も兼ねて書きます。 ChatGPTは文章を要約してもらったり、アイディア出しを手伝ってもらったりと、幅広く活用できますが、それ以外に、キャラクターと会話したいみたいな需要も多々あるかと思います。 私もその延長で、会話やちょっとしたタスクをやってくれるアシスタントみたいなものがあったら楽しそうだ と思ったのが今回取り組んだきっかけです。 Web版のChatGPTでもキャラ設定を与えて会話することはできますが、履歴が長くなるに

          ニキ

          ChatGPT APIとLangChainでいろいろと覚えていてくれるチャットボットを作りたい

          ニキ