npaka

プログラマー。iPhone / Android / Unity / ROS / AI …

npaka

プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

  • 自然言語処理入門

    自然言語処理関係のノートをまとめました。

  • 強化学習入門

    強化学習関連のノートをまとめました。

  • AR・VR・MR入門

    AR・VR・MR関連のノートをまとめました。

  • AIリリース年表

    AIリリース年表をまとめました。

  • Unity入門

    Unity関連のノートをまとめました。

すべてのマガジンを表示
固定された記事

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』が発売になります。技術アップデートが早すぎることもあり、PDFおよびamazonプリント・オン・デマンド …

npaka
npaka
3か月前
83

Dify で RAG を試す

「Dify」で「RAG」を試したので、まとめました。 前回1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2…

npaka
npaka
2日前
180

Dify の ワークフロー の概要

以下の記事が面白かったので、簡単にまとめました。 1. ワークフロー1-1. ワークフロー 「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプ…

npaka
npaka
3日前
191

iOS・Android の ローカルLLM実行環境まとめ

iOS・Android の ローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf) 「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクト…

npaka
npaka
6日前
63

mergekit-evolve のパラメータまとめ

以下の記事が面白かったので、簡単にまとめました。 1. mergekit-evolve「mergekit-evolve」は、進化的アルゴリズム (CMA-ES) を使用して、モデル メトリックに対してマー…

npaka
npaka
8日前
12

Google Colab で mergekit-evolve による 進化的モデルマージ を試す

「Google Colab」で「mergekit-evolve」による「進化的モデルマージ」を試したので、まとめました。 1. mergekit-evolve「Google Colab」で「mergekit-evolve」による進化…

npaka
npaka
9日前
25

Gemini API の Function Calling を試す

「Gemini API」の「Function Calling」を試したので、まとめました。 1. Function Calling「Function Calling」は、開発者が事前に関数定義を指定しておくことで、モデル…

npaka
npaka
9日前
23

Weave と Elyza-tasks-100 で ローカルLLMを評価する

「Weave」と「Elyza-tasks-100」で ローカルLLMの評価を試したので、まとめました。 1. Weave と Elyza-tasks-100「Weave」は、LLMアプリケーションの記録、実験、評価の…

npaka
npaka
10日前
18

Firestore の ベクトル検索を試す

「Firestore」の「ベクトル検索」を試したので、まとめました。 1. Firestore の ベクトル検索「Firestore」にプレビュー版ですが、「ベクトル検索」の機能が付きました。…

npaka
npaka
12日前
28

mergekit-evolve による 進化的モデルマージ

以下の記事が面白かったので、簡単にまとめました。 1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びま…

npaka
npaka
12日前
32

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評…

npaka
npaka
12日前
20

Google Colab で Phi-3 を試す

「Google Colab」で「Phi-3」を試したので、まとめました。 1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディ…

npaka
npaka
13日前
66

llama.cpp による transformersモデル の量子化

「llama.cpp」による「transformersモデル」の量子化の手順をまとめました。 1. Llama.cppのインストールLlama.cppのインストール手順は、次のとおりです。 (1) Xcodeの…

npaka
npaka
13日前
15

JAT (Jack of All Trades) の概要

以下の記事が面白かったので、簡単にまとめました。 1. JAT (Jack of All Trades)「JAT」 (Jack of All Trades) は、ジェネラリストエージェントの推進を目的とするプロジ…

npaka
npaka
2週間前
18

オリジナルデータセットで Idefics2 のファインチューニングを試す

オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。 前回1. Idefics2「Idefics2」は、テキストと画像を入力し…

npaka
npaka
2週間前
14

Google Colab で Llama 3 のファインチューニングを試す

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 今回は、ござるデ…

npaka
npaka
2週間前
75
npaka

npaka

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』が発売になります。技術アップデートが早すぎることもあり、PDFおよびamazonプリント・オン・デマンド と Kindle での販売になります。

この本は、「GPT-4V」「ChatGPT」「GPTs」を活用して人間の仕事をサポートする「チャットAI」を開発するための入門書です。
2023年11月の「Open

もっとみる
npaka

npaka

Dify で RAG を試す

Dify で RAG を試す

「Dify」で「RAG」を試したので、まとめました。

前回1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステム

もっとみる
npaka

npaka

Dify の ワークフロー の概要

Dify の ワークフロー の概要

以下の記事が面白かったので、簡単にまとめました。

1. ワークフロー1-1. ワークフロー

「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。

「ワークフロー」の種類は、次のとおりです。

1-2. Chatflow

自然言語入力におけるユーザー意図認識の複雑さに対処

もっとみる
npaka

npaka

iOS・Android の ローカルLLM実行環境まとめ

iOS・Android の ローカルLLM実行環境まとめ

iOS・Android の ローカルLLMの実行環境をまとめました。

1. iOS1-1. Llama.cpp (gguf)

「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに

もっとみる
npaka

npaka

mergekit-evolve のパラメータまとめ

mergekit-evolve のパラメータまとめ

以下の記事が面白かったので、簡単にまとめました。

1. mergekit-evolve「mergekit-evolve」は、進化的アルゴリズム (CMA-ES) を使用して、モデル メトリックに対してマージのパラメータを最適化するスクリプトです。これは、「SakanaAI」の「Evolutionary Optimization of Model Merging Recipes」、特にパラメータ空

もっとみる
npaka

npaka

Google Colab で mergekit-evolve による 進化的モデルマージ を試す

Google Colab で mergekit-evolve による 進化的モデルマージ を試す

「Google Colab」で「mergekit-evolve」による「進化的モデルマージ」を試したので、まとめました。

1. mergekit-evolve「Google Colab」で「mergekit-evolve」による進化的モデルマージを試します。うみゆきさんのコードを参考にさせてもらいつつ、実行環境 Colab + 評価者 Gemini で試してみました。

2. Colabでの実行

もっとみる
npaka

npaka

Gemini API の Function Calling を試す

Gemini API の Function Calling を試す

「Gemini API」の「Function Calling」を試したので、まとめました。

1. Function Calling「Function Calling」は、開発者が事前に関数定義を指定しておくことで、モデルが外部プログラムを呼び出すことを選択できるようにする機能です。

2. Gemini APIの準備「Google Colab」での「Gemini API」の準備手順は、次のとおり

もっとみる
npaka

npaka

Weave と Elyza-tasks-100 で ローカルLLMを評価する

Weave と Elyza-tasks-100 で ローカルLLMを評価する

「Weave」と「Elyza-tasks-100」で ローカルLLMの評価を試したので、まとめました。

1. Weave と Elyza-tasks-100「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。「評価関数」と「評価データセット」を用意するだけで、LLMの評価に必要な面倒な処理 (記録・集計

もっとみる
npaka

npaka

Firestore の ベクトル検索を試す

Firestore の ベクトル検索を試す

「Firestore」の「ベクトル検索」を試したので、まとめました。

1. Firestore の ベクトル検索「Firestore」にプレビュー版ですが、「ベクトル検索」の機能が付きました。

2. ベクトルインデックスの作成と削除2-1. ベクトルインデックスの作成

(1) ローカルマシンで「gcloud CLU」をセットアップ。

(2) 以下のコマンドを実行。
コレクショングループを「

もっとみる
npaka

npaka

mergekit-evolve による 進化的モデルマージ

mergekit-evolve による 進化的モデルマージ

以下の記事が面白かったので、簡単にまとめました。

1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びました。

「進化的モデルマージ」を使用すると、マージで特定のコンピテンシーや資質をターゲットにすることができます。これがないと、モデルマージは手動の探索プロセスになります。数十回のマージを試し、それらを手動で評価し、マージパラ

もっとみる
npaka

npaka

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。

1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。

主な機能は、次のとおりです。

2. Weave の準備今回は、「Google Colab」で「Weave」を使って「O

もっとみる
npaka

npaka

Google Colab で Phi-3 を試す

Google Colab で Phi-3 を試す

「Google Colab」で「Phi-3」を試したので、まとめました。

1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。

パラメータ数と学習トークン数は、次のとおりです。

2.

もっとみる
npaka

npaka

llama.cpp による transformersモデル の量子化

llama.cpp による transformersモデル の量子化

「llama.cpp」による「transformersモデル」の量子化の手順をまとめました。

1. Llama.cppのインストールLlama.cppのインストール手順は、次のとおりです。

(1) Xcodeのインストール。
「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。

(2) リポジトリのクロ

もっとみる
npaka

npaka

JAT (Jack of All Trades) の概要

JAT (Jack of All Trades) の概要

以下の記事が面白かったので、簡単にまとめました。

1. JAT (Jack of All Trades)「JAT」 (Jack of All Trades) は、ジェネラリストエージェントの推進を目的とするプロジェクトです。このプロジェクトは、視覚と言語 (vision-and-language) のタスクと意思決定 (decision-making) のタスクの両方を実行できるTransfor

もっとみる
npaka

npaka

オリジナルデータセットで Idefics2 のファインチューニングを試す

オリジナルデータセットで Idefics2 のファインチューニングを試す

オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。

前回1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。

前回は提供されているデータセットで学習しましたが、今回

もっとみる
npaka

npaka

Google Colab で Llama 3 のファインチューニングを試す

Google Colab で Llama 3 のファインチューニングを試す

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。

1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。

今回は、ござるデータセットで学習します。AIが「我、りんえもんは思う。◯◯でござる。知らんけど。」的な口調になります。

2. 学習Colabでの学習手順は、次のとおりです。

(1) Colabのノートブックを

もっとみる