Baku

Baku

  • ローカルLLM

    ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/

  • AIアニメ

    AI画像生成＋AI音声合成によるショートアニメの試作

饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました

最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日本語チャット性能がとても良いため、モデル作者さんが用いた手法（Chat Vector+MoEマージ）を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価

Baku

    • 【ローカルLLM】言語モデルの知識編集を試す（Knowledge Editing）

      言語モデルの研究領域の一つに「知識編集(Knowledge Editing)」というものがあるらしい。 近年は言語モデルの大規模化による開発コスト膨張が問題になっており、既存モデルをより長く利用するための低コストな知識更新手法に注目が集まってる（らしい）。 とはいえ既存の知識編集手法は不確実性が高いうえ、モデル性能が劣化する副作用も存在する（らしい。こちらやこちらのアブストラクトを参照）。 言語モデルの知識編集 そもそも知識編集ってなんなのか、と思って検索したところ、

      Baku

      • 【llama.cpp】CPUとRAM、どっちが重要？

        llama.cppのCPUオンリーの推論について CPUでもテキスト生成自体は意外にスムーズ。なのに、最初にコンテキストを読み込むのがGPUと比べて遅いのが気になる。 ちょっと調べたところ、以下のポストが非常に詳しかった。 CPUにおけるLLama.cppの高速化（超抄訳） 「CPU推論のボトルネックはCPUじゃなくてメモリの性能」と聞くものの、最初のプロンプト処理の速さはCPU次第らしい。 GPUと差がつきやすいのはこっち。メモリに余裕があるなら読み込んだままにし

        Baku

        • 【ローカルLLM】Mixtral-8x7bをllama.cppで試す

          2023/12/12：llama.cppで「Mixtral-8x7b」のGGUF量子化モデルを試しました（現時点でまだmergeされていないのでbranchを利用）。 「Mixtral-8x7b」はMistralがリリースしたMoE（Mixture of Experts）構造のLLMです。 英語＋欧州主要言語に対応しており、それらの言語でのベンチマークスコアはGPT-3.5＆Llama-2-70Bに匹敵ないし上回ります。 Mistralと同様に日本語性能は微妙なようです

          Baku

        饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました

        Baku

        マガジン

        • ローカルLLM
          28本
        • AIアニメ
          25本

        記事

          【llama.cpp】Qwen-14BをGGUF量子化して日本語で試す

          2023/12/05：llama.cppが「Qwen」に対応したので試しました。 「Qwen」は中国Alibabaグループが手掛ける大規模言語モデルシリーズで、テキストモデルは1.8B/7B/14B/72Bがあります。 英/中メインの多言語モデルで、日本語性能も同サイズのLlama-2/Mistralに比べれば高いっぽいです。 QwenをGGMLで量子化・推論するための「qwen.cpp」が以前からあり、これが今回llama.cpp本家にマージされたとのこと。 今回は

          Baku

          【llama.cpp】Qwen-14BをGGUF量子化して日本語で試す

          Baku

          【AIアニメ】ComfyUIではじめるStable Video Diffusion

          11月21日にStabilityAIの動画生成モデル「Stable Video Diffusion (Stable Video)」が公開されています。 これによりGen-2やPikaなどクローズドな動画生成サービスが中心だったimage2video（画像からの動画生成）が手軽に試せるようになりました。 このnoteでは「ComfyUI」を利用したStable Videoの使い方を簡単にまとめまてみました。 1. Stable Videoについて今回StabilityAI

          Baku

          【AIアニメ】ComfyUIではじめるStable Video Diffusion

          Baku

          AnimateDiffでドット絵アニメをつくる / Pixel Art with AnimateDiff

          AnimateDiffでドット絵アニメを作ってみたらハマったので、ワークフローをまとめてみました。 ComfyUI AnimateDiffの基本的な使い方から知りたい方は、こちらをご参照ください。 1. カスタムノード特別なカスタムノードはありません。以下の2つだけ使います。 https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved https://github.com/Kosinkadink/ComfyUI-V

          Baku

          AnimateDiffでドット絵アニメをつくる / Pixel Art with AnimateDiff

          Baku

          ComfyUI AnimateDiff + LCM-LoRAによる高速な動画生成を試す

          StableDiffusionを高速化するLCM-LoRAを応用したAnimateDiffワークフローが話題になっていたので、さっそく試してみました。 LCM-Loraを使うと8以下のStep数で生成できるため、一般的なワークフローに比べて生成時間を大幅に短縮できるようです。 ワークフローComfyUI AnimateDiffの基本的な使い方から知りたい方は、こちらをご参照ください。 今回試したワークフローは以下になります。 【GoogleColab Pro/Pro+

          Baku

          ComfyUI AnimateDiff + LCM-LoRAによる高速な動画生成を試す

          Baku

          【AIアニメ】AnimateDiffでアニメが作れるか？(2)

          前回の記事のつづきで、AnimateDiffをつかった短い「アニメ」を試作しています。 一部の場面ではキャラにリップシンク（口パク）をさせたいので、動画と並行して声（セリフ）の生成にも手をつけます。 カット「もう11月だよ」 「ちょっと前まであんな暑かったのに…」と言う姉（りりこ）に対して、妹（みいこ）が返答する場面です。 カット２と同じくモデルは「Counterfeit-V3.0」で、オーソドックスに生成しています。構図はControlNetで緩く指定しました。

          Baku

          【AIアニメ】AnimateDiffでアニメが作れるか？(2)

          Baku

          GPT 3.5-turboが20Bパラメータという話の後日談

          TL;DR　論文著者によれば「論文に書いたパラメータ数の出所はForbesの記事であり、その記事にソースの記載はない」とのこと。 10月26日にarxivに掲載された論文で、GPT 3.5-turboのパラメータ数が200億（20B）という記載があり、数日前に話題になった。 論文著者が（OpenAIと提携している）Microsoftの研究者だったこともありバズったものらしい。 この件に関してRedditに検証ポストがあったので、簡単に内容をまとめてみる。 11月1日に

          Baku

          GPT 3.5-turboが20Bパラメータという話の後日談

          Baku

          【AIアニメ】AnimateDiffでアニメが作れるか？(1)

          AnimateDiffを使うと数秒のアニメーションなら手軽に作れます。これらを編集してセリフをつければ、ちょっとしたショートアニメ作品も作れるのでは？と思いました。 以前に試したもの アニメ用のAI音声合成（Koeiromap）などは、以前の記事で試したことがあります。当時の投稿はこちら。 ただ肝心のアニメーションについては、AI動画生成がまだ難しかったので、静止画を中心とした編集にせざるをえず。 9月に入りComfyUIでAnimateDiffを触りはじめ、少しづつ

          Baku

          【AIアニメ】AnimateDiffでアニメが作れるか？(1)

          Baku

          ComfyUI-LCMによるVid2Vidの高速変換を試す(Latent Consistency Models)

          Latent Consistency Models（LCM）は、最小限のステップ数で迅速に推論できる新たな画像生成モデルです。 例えば768x768の画像が2～4ステップ程度で生成できるとのこと（Stable Diffusionだとざっくり20ステップくらい）。 このLCMをComfy UIの拡張機能として実装したのが「ComfyUI-LCM」です。 Comfy UI-LCMを使ったVid2Vidの動画変換ワークフローが紹介されていたので、試してみました（Control

          Baku

          ComfyUI-LCMによるVid2Vidの高速変換を試す(Latent Consistency Models)

          Baku

          ComfyUI AnimateDiffで戦前の映像をリマスターしてみる

          Youtubeを見ていると、AIによって着色・高精細化した古い映像がアップされていたりします。 ComfyUI-AnimateDiffを利用すると、このようなモノクロ映像のAIリマスターを手軽に試すことができます。 必要な準備ComfyUI本体の導入方法については、こちらをご参照ください。 今回の作業でComfyUIに追加しておく必要があるものは以下の通りです。 1. カスタムノード 次の2つを使います。 ComfyUI-AnimateDiff-Evolved（An

          Baku

          ComfyUI AnimateDiffで戦前の映像をリマスターしてみる

          Baku

          【AIアニメ】ComfyUI AnimateDiff でInpaintを試す

          @toyxyz3さんのツイートで、ComfyUI AnimateDiffでのControlNet Inpaintの活用例が紹介されていました。 上記の例では、静止画のうちマスクした部分が動画化されています。 この記事では上記のワークフローを参考に「動画の一部をマスクし、inpaintで修正する」方法を試してみます。 必要な準備ComfyUI本体の導入方法については、こちらをご参照ください。 今回の作業でComfyUIに追加しておく必要があるものは以下の通りです。 1.

          Baku

          【AIアニメ】ComfyUI AnimateDiff でInpaintを試す

          Baku

          【AIアニメ】ComfyUI AnimateDiffでSDXLモデルを試す(HotshotXL)

          「Hotshot-XL」は、Stable Diffusion XL（SDXL）モデルを使ってGIF動画を生成するためのツールです。 「ComfyUI-AnimateDiff」が、最近この「HotshotXL」に対応したようなので試してみました。 留意点ちょっとややこしいですが「AnimateDiff」と「HotshotXL」は別物です。「ComfyUI版のAnimateDiff」が独自に機能拡張し、HotshotXLを使えるようになったものです。 HotshotXLは推

          Baku

          【AIアニメ】ComfyUI AnimateDiffでSDXLモデルを試す(HotshotXL)

          Baku

          【AIアニメ】ComfyUI AnimateDiffでIPAdapterを試す

          今回はComfyUI AnimateDiffでIP-Adapterを使った動画生成を試してみます。 「IP-Adapter」は、StableDiffusionで画像をプロンプトとして使うためのツールです。 入力した画像の特徴に類似した画像を生成することができ、通常のプロンプト文と組み合わせることも可能です。 必要な準備ComfyUI本体の導入方法については、こちらをご参照ください。 今回の作業でComfyUIに追加しておく必要があるものは以下の通りです。 1. カスタ

          Baku

          【AIアニメ】ComfyUI AnimateDiffでIPAdapterを試す

          Baku