npaka
自然言語処理関係のノートをまとめました。
その他の技術情報をまとめました。
iOSとAndroidのアプリ開発関連のノートをまとめました。
Unity ML-Agents関連のノートをまとめました。
Unity関連のノートをまとめました。
『OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門』が来月発売になります。 この本は、「GPT-4」「ChatGPT」「LangChain」を活用して「チャットAI」を開発するための入門書です。 対象読者は、 ・チャットAIのしくみを知りたい人 ・チャットAIに知識や計算の能力を与えて仕事を自動化したい人 ・会話ロボットやAITuberなどの会話エンジンとして使いたい人 ・自分のアプリケーションにチャットUIを組み込みたい人 に
「Transformers」による日本語の感情分析を試したのでまとめました。 1. 感情分析「感情分析」（Sentiment Analysis）は、テキストから感情を抽出するタスクです。 「HuggingFace Models」の「sentiment-analysis」を探したところ、以下のモデルを見つけたので使わせてもらうことにします。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Transformersのインストール。 # Tran
以下の記事が面白かったので、軽くまとめました。 1. LLM と RLHF「RLHF」と組み合わせた「LLM」は、ChatGPTなどの非常に強力なAIシステムを構築するための次のアプローチです。「RLHF」でLLMを学習するには、通常、次の3つのステップが必要です。 2. TRL「trl」は、LLMを誰でも簡単に強化学習でファインチューニングできることを目的としたライブラリです。これを使用して、映画の肯定的なレビューを生成するように調整したり、より毒性がないものに調整した
以下の記事が面白かったので、簡単にまとめました。 1. はじめにこの記事では、「SFT」「RM」「RLHF」の組み合わせで、「Stack Exchange」の質問に答える「StackLLaMA」の学習の全ステップを紹介します。 「StackLLaMA」は、以下でデモを試すことができます。 ベースモデルとして「LLaMA 7B」、データセットとして「StackExchange」データセットを使用しています。 2. Stack Exchange データセット「StackE
「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを試したのでまとめました。 1. Rinna-3.6B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 「Rinna-3.6B」は、「Rinna」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチ
「Google Colab」で「OpenCALM-7B」のLoRAファインチューニングを試したのでまとめました。 1. OpenCALM-7B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「OpenCALM-7B」のLoRAファインチューニングを行います。データセットは@kun1
「Google Colab」で「Rinna-3.6B」を試したので、まとめました。 1. Rinna-3.6B「Rinna-3.6B」は、「Rinna」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. Rinnaのモデル「Rinna」の言語モデルは、次の3種類のモデルが公開されています。 (GPT-2など昔のモデルは除く) 3. ベースモデルの実行Colabでのベー
「Google Colab」で「OpenCALM-7B」を試したので、まとめました。 1. OpenCALM-7B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. OpenCALMのモデル「OpenCALM」は、サイズ別に6つの汎用言語モデルが公開されています。 3. Colabでの実行Colabでの実行手順は、次
「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 現在サポートしている手法は、次の4つです。 ◎ LLaMA + LoRA 「Alpaca-LoRA」は、「LLaMA」に「LoRA」を適用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「
「Stable Animation」で簡単なアニメーションを使ってみたので、まとめました。 1. Stable Animation「Stable Animation」は、Stable Diffusionのモデルを使ってアニメーションを生成するツールです。 アニメーション作成には、以下の3つの方法があります： 2. 使用料金「DreamStudio」で画像生成するので、その分の使用料金が発生します。 3. インストールインストール手順は、次のとおりです。 (1) 「D
「Google Colab」で「ImageBind」を試したので、まとめました。 1. ImageBind「ImageBind」は、「画像」「テキスト」「音声」「深度(3D)」「熱」「IMU(慣性測定ユニット)」といった6つの異なるモダリティにまたがる共同埋め込みを学習します。これにより、クロスモーダル検索、演算によるモダリティの合成、クロスモーダル検出や生成など、すぐに使える新しい創発的アプリケーションを実現します。 2. Colabでの実行Colabでの実行手順は、次
以下の記事をもとに、「RedPajama-INCITE」のInstructモデルの活用事例をまとめました。 1. RedPajama-INCITE のInstructモデル「RedPajama-INCITE-3B / 7B」では、「Base」「Instruct」「Chat」の3種類のモデルがリリースされました。 「Base」は、Instructチューニング前のベースモデル、「Instruct」はFew-Shotアプリケーション用にInstructチューニングしたモデル、「
「redpajama.cpp」を試したのでまとめました。macOSで動作確認しました。 1. redpajama.cpp「redpajama.cpp」は、「llama.cpp」の「RedPajama」対応版です。 2. redpajama.cppの実行「redpajama.cpp」の実行手順は、次のとおりです。 (1) redpajama.cppのリポジトリをクローン。 $ git clone https://github.com/togethercomputer/r
「Google Colab」で「RedPajama-INCITE-Base-3B」のLoRA ファインチューニングを試したので、まとめました。 1. lora-instruct以下のリポジトリの「PEFT」で「RedPajama-INCITE」を学習させるコード「finetuning.py」を使わせてもらいました。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU
「text-generation-webui」で「RWKV」を試してみたので、まとめました。 1. text-generation-webui「text-generation-webui」は、大規模言語モデルのWeb UIです。LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICAなどの大規模言語モデルをローカルで実行できます。 2. インストール「text-generation-webui」のインストール手順は、次のとおりです。 (1)
「Google Colab」で「MPT-7B」を試したので、まとめました。 1. MPT-7B「MPT-7B」は、「MosaicML」が開発した、テキストとコードの1Tトークンでゼロから学習したLLMです。オープンソースで、商用利用可能で、LLAMA-7Bと同等の品質を持ちます。約20万ドル、人間介入なし、9.5日間、MosaicMLプラットフォームで学習しています。 現在、以下のモデルが提供されています。 2. Colabでの実行Colabでの実行手順は、次のとおりで
