npaka

プログラマー。iPhone / Android / Unity / ROS / AI …

npaka

プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

  • 自然言語処理入門

    自然言語処理関係のノートをまとめました。

  • 強化学習入門

    強化学習関連のノートをまとめました。

  • AR・VR・MR入門

    AR・VR・MR関連のノートをまとめました。

  • AIリリース年表

    AIリリース年表をまとめました。

  • Unity入門

    Unity関連のノートをまとめました。

すべてのマガジンを表示
  • 固定された記事

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』が発売になります。技術アップデートが早すぎることもあり、PDFおよびamazonプリント・オン・デマンド と Kindle での販売になります。 この本は、「GPT-4V」「ChatGPT」「GPTs」を活用して人間の仕事をサポートする「チャットAI」を開発するための入門書です。 2023年11月の「OpenAI API」の大型アップデートに対応しています。 対象読者は、 ・チャットA

npaka

    • LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

      LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。 主な機能は、次のとおりです。 2. Weave の準備今回は、「Google Colab」で「Weave」を使って「OpenAI」のモデルの記録・実験・評価を行います。 (1) パッケージのインス

      npaka

      • Google Colab で Phi-3 を試す

        「Google Colab」で「Phi-3」を試したので、まとめました。 1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。 パラメータ数と学習トークン数は、次のとおりです。 2. Phi-3 のモデル「Phi-3」では現在、次の4種類のモデルが提供されていま

        npaka

        • llama.cpp による transformersモデル の量子化

          「llama.cpp」による「transformersモデル」の量子化の手順をまとめました。 1. Llama.cppのインストールLlama.cppのインストール手順は、次のとおりです。 (1) Xcodeのインストール。 「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。 (2) リポジトリのクローン。 $ git clone https://github.com/gger

          npaka
        • 固定された記事

        『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』 が発売になりました。

        npaka

        マガジン

        • 自然言語処理入門
          735本
        • 強化学習入門
          109本
        • AR・VR・MR入門
          89本
        • AIリリース年表
          10本
        • Unity入門
          149本
        • その他の技術情報
          126本

        記事

          JAT (Jack of All Trades) の概要

          以下の記事が面白かったので、簡単にまとめました。 1. JAT (Jack of All Trades)「JAT」 (Jack of All Trades) は、ジェネラリストエージェントの推進を目的とするプロジェクトです。このプロジェクトは、視覚と言語 (vision-and-language) のタスクと意思決定 (decision-making) のタスクの両方を実行できるTransformerを学習する 「Gato」の再現としてはじまりました。 「Gato」のデー

          npaka

          JAT (Jack of All Trades) の概要

          npaka

          オリジナルデータセットで Idefics2 のファインチューニングを試す

          オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。 前回1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。 前回は提供されているデータセットで学習しましたが、今回はオリジナルデータセットを作って学習させてみます。 2. データセットの作成画

          npaka

          オリジナルデータセットで Idefics2 のファインチューニングを試す

          npaka

          Google Colab で Llama 3 のファインチューニングを試す

          「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 今回は、ござるデータセットで学習します。AIが「我、りんえもんは思う。◯◯でござる。知らんけど。」的な口調になります。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。

          npaka

          Google Colab で Llama 3 のファインチューニングを試す

          npaka

          MLX で Llama 3 を試す

          「MLX」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 推論の実行「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 推論の実行手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 今回は、「Python 3.10」の仮想環境を準備しました。 (2)

          npaka

          MLX で Llama 3 を試す

          npaka

          Google Colab で Llama 3 を試す

          「Google Colab」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. Llama 3 のモデル「Llama 3」では現在、次の4種類のモデルが提供されています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール!pip install -U transformers accelerate

          npaka

          Google Colab で Llama 3 を試す

          npaka

          OpenAI API の Assistan API v2 の新機能

          「OpenAI API」の「Assistan API v2」の新機能についてまとめました。 1. Assistan API v2の新機能「Assistant API v2」の新機能は、次のとおりです。 1-1. file_searchの追加 (元Retrieval) 「file_search」と呼ばれるRetrievalを改良したToolが追加されました。このToolは、Assistantごとに最大10,000個のファイルを取り込むことができます。これは以前の500倍で

          npaka

          OpenAI API の Assistan API v2 の新機能

          npaka

          Google Colab で Idefics2 のファインチューニングを試す

          「Google Colab」で「Idefics2」のファインチューニングを試したのでまとめました。 1. Idefics2 のファインチューニング用Colab公式の「Idefics2」のファインチューニング用Colabに沿って実行するだけでファインチューニングできます。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「V100」を選択。 (2) パッケージのインストー

          npaka

          Google Colab で Idefics2 のファインチューニングを試す

          npaka

          Google Colab で idefics2 を試す

          「Google Colab」で「idefics2」を試したので、まとめました。 1. idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール!pip install -U git+

          npaka

          Google Colab で idefics2 を試す

          npaka

          Idefics2 の概要

          以下の記事が面白かったので、簡単にまとめました。 1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。 「Idefics2」は「Idefics1」を改良したもので、8B、オープンライセンス (Apache 2.0)、強化された OCRを備え、マルチモダリティに取り組むコミュニティの強力な基盤となります。VQA

          npaka

          Idefics2 の概要

          npaka

          LangChain で Cohere Reranker を試す

          「LangChain」で「Cohere Reranker」を試したので、まとめました。 1. Cohere RerankerRAGにおける「Reranker」は、取得したチャンクの中から、質問に対して最も関連性の高い情報を持つチャンクを選択する役割を担っています。 RAGの処理の流れ、次のとおりです。 「Reranker」を用いることで、検索された多数のドキュメントの中から、質問に対して最も有用な情報を持つドキュメントを効果的に選択することができ、RAGの生成する回答の

          npaka

          LangChain で Cohere Reranker を試す

          npaka

          Reka Core - フロンティアクラスのマルチモーダル言語モデル

          以下の記事が面白かったので、簡単にまとめました。 1. Reka Core「Reka Core」は、「Reka」が開発したマルチモーダル言語モデルです。MMMUで「GPT-4V」に匹敵し、独立したサードパーティによって実施されたマルチモーダル人間評価では「Claude-3 Opus」を上回り、動画タスクでは「Gemini Ultra」を上回っています。言語タスクでは、他のフロンティア モデルと比較して競争力があります。 以下は主要ベンチマークによる主要モデルとの比較です。

          npaka

          Reka Core - フロンティアクラスのマルチモーダル言語モデル

          npaka

          Cohere Compass - 新マルチアスペクト埋め込みモデル

          以下の記事が面白かったので、簡単にまとめました。 1. Cohere Compass「Cohere Compass」は、マルチアスペクトデータのインデックス作成と検索を可能にする新しい埋め込みモデルです。 「マルチアスペクトデータ」は、複数の概念と関係を含むデータです。これは企業データ内では一般的です。電子メール、請求書、履歴書、サポートチケット、ログメッセージ、表形式データにはすべて、コンテキスト上の関係を持つ実質的なコンテンツが含まれています。企業データには多くの概念

          npaka

          Cohere Compass - 新マルチアスペクト埋め込みモデル

          npaka