npaka

プログラマー。iPhone / Android / Unity / ROS / AI …

npaka

プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

  • 自然言語処理入門

    自然言語処理関係のノートをまとめました。

  • 強化学習入門

    強化学習関連のノートをまとめました。

  • AR・VR・MR入門

    AR・VR・MR関連のノートをまとめました。

  • AIリリース年表

    AIリリース年表をまとめました。

  • Unity入門

    Unity関連のノートをまとめました。

すべてのマガジンを表示
  • 固定された記事

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』が発売になります。技術アップデートが早すぎることもあり、PDFおよびamazonプリント・オン・デマンド と Kindle での販売になります。 この本は、「GPT-4V」「ChatGPT」「GPTs」を活用して人間の仕事をサポートする「チャットAI」を開発するための入門書です。 2023年11月の「OpenAI API」の大型アップデートに対応しています。 対象読者は、 ・チャットA

npaka

    • mergekit-evolve のパラメータまとめ

      以下の記事が面白かったので、簡単にまとめました。 1. mergekit-evolve「mergekit-evolve」は、進化的アルゴリズム (CMA-ES) を使用して、モデル メトリックに対してマージのパラメータを最適化するスクリプトです。これは、「SakanaAI」の「Evolutionary Optimization of Model Merging Recipes」、特にパラメータ空間アプローチからインスピレーションを得ています。「mergekit-evolve

      npaka

      • Google Colab で mergekit-evolve による 進化的モデルマージ を試す

        「Google Colab」で「mergekit-evolve」による「進化的モデルマージ」を試したので、まとめました。 1. mergekit-evolve「Google Colab」で「mergekit-evolve」による進化的モデルマージを試します。うみゆきさんのコードを参考にさせてもらいつつ、実行環境 Colab + 評価者 Gemini で試してみました。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。

        npaka

        • Gemini API の Function Calling を試す

          「Gemini API」の「Function Calling」を試したので、まとめました。 1. Function Calling「Function Calling」は、開発者が事前に関数定義を指定しておくことで、モデルが外部プログラムを呼び出すことを選択できるようにする機能です。 2. Gemini APIの準備「Google Colab」での「Gemini API」の準備手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール!p

          npaka
        • 固定された記事

        『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

        npaka

        マガジン

        • 自然言語処理入門
          740本
        • 強化学習入門
          109本
        • AR・VR・MR入門
          89本
        • AIリリース年表
          10本
        • Unity入門
          149本
        • その他の技術情報
          126本

        記事

          Weave と Elyza-tasks-100 で ローカルLLMを評価する

          「Weave」と「Elyza-tasks-100」で ローカルLLMの評価を試したので、まとめました。 1. Weave と Elyza-tasks-100「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。「評価関数」と「評価データセット」を用意するだけで、LLMの評価に必要な面倒な処理 (記録・集計など) をすべて肩代わりしてくれます。 「Elyza-tasks-100」はE

          npaka

          Weave と Elyza-tasks-100 で ローカルLLMを評価する

          npaka

          Firestore の ベクトル検索を試す

          「Firestore」の「ベクトル検索」を試したので、まとめました。 1. Firestore の ベクトル検索「Firestore」にプレビュー版ですが、「ベクトル検索」の機能が付きました。 2. ベクトルインデックスの作成と削除2-1. ベクトルインデックスの作成 (1) ローカルマシンで「gcloud CLU」をセットアップ。 (2) 以下のコマンドを実行。 コレクショングループを「sample」、埋め込みの次元を「1536」(OpenAIの埋め込みの次元数)、

          npaka

          Firestore の ベクトル検索を試す

          npaka

          mergekit-evolve による 進化的モデルマージ

          以下の記事が面白かったので、簡単にまとめました。 1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びました。 「進化的モデルマージ」を使用すると、マージで特定のコンピテンシーや資質をターゲットにすることができます。これがないと、モデルマージは手動の探索プロセスになります。数十回のマージを試し、それらを手動で評価し、マージパラメータが最終モデルの性能にどのように関連するか頭の中で考え出そうとすることになり

          npaka

          mergekit-evolve による 進化的モデルマージ

          npaka

          LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

          LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。 主な機能は、次のとおりです。 2. Weave の準備今回は、「Google Colab」で「Weave」を使って「OpenAI」のモデルの記録・実験・評価を行います。 (1) パッケージのインス

          npaka

          LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

          npaka

          Google Colab で Phi-3 を試す

          「Google Colab」で「Phi-3」を試したので、まとめました。 1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。 パラメータ数と学習トークン数は、次のとおりです。 2. Phi-3 のモデル「Phi-3」では現在、次の4種類のモデルが提供されていま

          npaka

          Google Colab で Phi-3 を試す

          npaka

          llama.cpp による transformersモデル の量子化

          「llama.cpp」による「transformersモデル」の量子化の手順をまとめました。 1. Llama.cppのインストールLlama.cppのインストール手順は、次のとおりです。 (1) Xcodeのインストール。 「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。 (2) リポジトリのクローン。 $ git clone https://github.com/gger

          npaka

          llama.cpp による transformersモデル の量子化

          npaka

          JAT (Jack of All Trades) の概要

          以下の記事が面白かったので、簡単にまとめました。 1. JAT (Jack of All Trades)「JAT」 (Jack of All Trades) は、ジェネラリストエージェントの推進を目的とするプロジェクトです。このプロジェクトは、視覚と言語 (vision-and-language) のタスクと意思決定 (decision-making) のタスクの両方を実行できるTransformerを学習する 「Gato」の再現としてはじまりました。 「Gato」のデー

          npaka

          JAT (Jack of All Trades) の概要

          npaka

          オリジナルデータセットで Idefics2 のファインチューニングを試す

          オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。 前回1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。 前回は提供されているデータセットで学習しましたが、今回はオリジナルデータセットを作って学習させてみます。 2. データセットの作成画

          npaka

          オリジナルデータセットで Idefics2 のファインチューニングを試す

          npaka

          Google Colab で Llama 3 のファインチューニングを試す

          「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 今回は、ござるデータセットで学習します。AIが「我、りんえもんは思う。◯◯でござる。知らんけど。」的な口調になります。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。

          npaka

          Google Colab で Llama 3 のファインチューニングを試す

          npaka

          MLX で Llama 3 を試す

          「MLX」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 推論の実行「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 推論の実行手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 今回は、「Python 3.10」の仮想環境を準備しました。 (2)

          npaka

          MLX で Llama 3 を試す

          npaka

          Google Colab で Llama 3 を試す

          「Google Colab」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. Llama 3 のモデル「Llama 3」では現在、次の4種類のモデルが提供されています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール!pip install -U transformers accelerate

          npaka

          Google Colab で Llama 3 を試す

          npaka

          OpenAI API の Assistan API v2 の新機能

          「OpenAI API」の「Assistan API v2」の新機能についてまとめました。 1. Assistan API v2の新機能「Assistant API v2」の新機能は、次のとおりです。 1-1. file_searchの追加 (元Retrieval) 「file_search」と呼ばれるRetrievalを改良したToolが追加されました。このToolは、Assistantごとに最大10,000個のファイルを取り込むことができます。これは以前の500倍で

          npaka

          OpenAI API の Assistan API v2 の新機能

          npaka