npaka

プログラマー。iPhone / Android / Unity / ROS / AI …

npaka

プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

  • 自然言語処理入門

    自然言語処理関係のノートをまとめました。

  • 強化学習入門

    強化学習関連のノートをまとめました。

  • AR・VR・MR入門

    AR・VR・MR関連のノートをまとめました。

  • AIリリース年表

    AIリリース年表をまとめました。

  • Unity入門

    Unity関連のノートをまとめました。

すべてのマガジンを表示
  • 固定された記事

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』が発売になります。技術アップデートが早すぎることもあり、PDFおよびamazonプリント・オン・デマンド と Kindle での販売になります。 この本は、「GPT-4V」「ChatGPT」「GPTs」を活用して人間の仕事をサポートする「チャットAI」を開発するための入門書です。 2023年11月の「OpenAI API」の大型アップデートに対応しています。 対象読者は、 ・チャットA

npaka

    • Google Colab で 属性予測モデル　KARAKURI LM 7B APM v0.1 を試す

      「Google Colab」で属性予測モデル「KARAKURI LM 7B APM v0.1」を試したので、まとめました。 1. KARAKURI LM 7B APM v0.1「KARAKURI LM 7B APM v0.1」は、属性予測モデルです。「Gemma 7B」のファイチューニングモデルになります。 学習データセットは、次の2つです。 2. 属性属性の値は 0(最低)〜4(最高) になります。 ・helpsteer ・oasst 3. Colabでの実行

      npaka

      • Dify で RAG を試す

        「Dify」で「RAG」を試したので、まとめました。 前回1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。

        npaka

        • Dify の ワークフロー の概要

          以下の記事が面白かったので、簡単にまとめました。 1. ワークフロー1-1. ワークフロー 「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 1-2. Chatflow 自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供

          npaka
        • 固定された記事

        『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

        npaka

        マガジン

        • 自然言語処理入門
          743本
        • 強化学習入門
          109本
        • AR・VR・MR入門
          89本
        • AIリリース年表
          10本
        • Unity入門
          149本
        • その他の技術情報
          126本

        記事

          iOS・Android の ローカルLLM実行環境まとめ

          iOS・Android の ローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf) 「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-2. MLX 「mlx-swift-examples」の「

          npaka

          iOS・Android の ローカルLLM実行環境まとめ

          npaka

          mergekit-evolve のパラメータまとめ

          以下の記事が面白かったので、簡単にまとめました。 1. mergekit-evolve「mergekit-evolve」は、進化的アルゴリズム (CMA-ES) を使用して、モデル メトリックに対してマージのパラメータを最適化するスクリプトです。これは、「SakanaAI」の「Evolutionary Optimization of Model Merging Recipes」、特にパラメータ空間アプローチからインスピレーションを得ています。「mergekit-evolve

          npaka

          mergekit-evolve のパラメータまとめ

          npaka

          Google Colab で mergekit-evolve による 進化的モデルマージ を試す

          「Google Colab」で「mergekit-evolve」による「進化的モデルマージ」を試したので、まとめました。 1. mergekit-evolve「Google Colab」で「mergekit-evolve」による進化的モデルマージを試します。うみゆきさんのコードを参考にさせてもらいつつ、実行環境 Colab + 評価者 Gemini で試してみました。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。

          npaka

          Google Colab で mergekit-evolve による 進化的モデルマージ を試す

          npaka

          Gemini API の Function Calling を試す

          「Gemini API」の「Function Calling」を試したので、まとめました。 1. Function Calling「Function Calling」は、開発者が事前に関数定義を指定しておくことで、モデルが外部プログラムを呼び出すことを選択できるようにする機能です。 2. Gemini APIの準備「Google Colab」での「Gemini API」の準備手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール!p

          npaka

          Gemini API の Function Calling を試す

          npaka

          Weave と Elyza-tasks-100 で ローカルLLMを評価する

          「Weave」と「Elyza-tasks-100」で ローカルLLMの評価を試したので、まとめました。 1. Weave と Elyza-tasks-100「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。「評価関数」と「評価データセット」を用意するだけで、LLMの評価に必要な面倒な処理 (記録・集計など) をすべて肩代わりしてくれます。 「Elyza-tasks-100」はE

          npaka

          Weave と Elyza-tasks-100 で ローカルLLMを評価する

          npaka

          Firestore の ベクトル検索を試す

          「Firestore」の「ベクトル検索」を試したので、まとめました。 1. Firestore の ベクトル検索「Firestore」にプレビュー版ですが、「ベクトル検索」の機能が付きました。 2. ベクトルインデックスの作成と削除2-1. ベクトルインデックスの作成 (1) ローカルマシンで「gcloud CLU」をセットアップ。 (2) 以下のコマンドを実行。 コレクショングループを「sample」、埋め込みの次元を「1536」(OpenAIの埋め込みの次元数)、

          npaka

          Firestore の ベクトル検索を試す

          npaka

          mergekit-evolve による 進化的モデルマージ

          以下の記事が面白かったので、簡単にまとめました。 1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びました。 「進化的モデルマージ」を使用すると、マージで特定のコンピテンシーや資質をターゲットにすることができます。これがないと、モデルマージは手動の探索プロセスになります。数十回のマージを試し、それらを手動で評価し、マージパラメータが最終モデルの性能にどのように関連するか頭の中で考え出そうとすることになり

          npaka

          mergekit-evolve による 進化的モデルマージ

          npaka

          LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

          LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。 主な機能は、次のとおりです。 2. Weave の準備今回は、「Google Colab」で「Weave」を使って「OpenAI」のモデルの記録・実験・評価を行います。 (1) パッケージのインス

          npaka

          LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

          npaka

          Google Colab で Phi-3 を試す

          「Google Colab」で「Phi-3」を試したので、まとめました。 1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。 パラメータ数と学習トークン数は、次のとおりです。 2. Phi-3 のモデル「Phi-3」では現在、次の4種類のモデルが提供されていま

          npaka

          Google Colab で Phi-3 を試す

          npaka

          llama.cpp による transformersモデル の量子化

          「llama.cpp」による「transformersモデル」の量子化の手順をまとめました。 1. Llama.cppのインストールLlama.cppのインストール手順は、次のとおりです。 (1) Xcodeのインストール。 「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。 (2) リポジトリのクローン。 $ git clone https://github.com/gger

          npaka

          llama.cpp による transformersモデル の量子化

          npaka

          JAT (Jack of All Trades) の概要

          以下の記事が面白かったので、簡単にまとめました。 1. JAT (Jack of All Trades)「JAT」 (Jack of All Trades) は、ジェネラリストエージェントの推進を目的とするプロジェクトです。このプロジェクトは、視覚と言語 (vision-and-language) のタスクと意思決定 (decision-making) のタスクの両方を実行できるTransformerを学習する 「Gato」の再現としてはじまりました。 「Gato」のデー

          npaka

          JAT (Jack of All Trades) の概要

          npaka

          オリジナルデータセットで Idefics2 のファインチューニングを試す

          オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。 前回1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。 前回は提供されているデータセットで学習しましたが、今回はオリジナルデータセットを作って学習させてみます。 2. データセットの作成画

          npaka

          オリジナルデータセットで Idefics2 のファインチューニングを試す

          npaka