wandb

本

wandbを使ってくださっている方々の記事をちょっと使ってみた系からAdvancedなTipsまで幅広くまとめていくマガジンです。 wandbは、エンタープライズグレードのエン…

運営しているクリエイター

#OpenAI

W&B Weave を使ってRAGボットの性能を大幅改善 🤖

このブログでは、Weights & Biasesの製品であるWeaveを使用して、Weights & Biasesが提供するサービスの1つであるwandbotを改善するドッグフーディングの例を紹介します。（ドッグフーディング: 自社の製品を使い、自社のサービスを改善することの例え）本番環境での生成AIアプリの運用は難しい…便利なツールやライブラリの登場により、生成AIアプリのプロトタイプを構築するのは比較的容易になってきていますが、これらのプロトタイプを本番環境に移行する

Weave による RAGシステムのLLM変更時の精度検証手順

「Weave」による「RAGシステム」のLLM変更時の精度検証手順を解説します。 1. Weave「Weave」は、RAGなどのLLMアプリケーション開発時、および運用時に記録・実験・評価を行い、その性能を高めていくために使われるLLMOpsツールです。「Weights & Biases」が提供する機能の1つになります。主な機能は、次のとおりです。 2. Weave の使い方はじめに、基本的な「Weave」の使い方を紹介します。 (1) パッケージのインストール。

Nejumi LLMリーダーボード Neo の LLMベンチマークの使い方

この入門記事は、「Weights & Biases」のご支援により提供されています。Weights & Biases JapanのNoteでは他にも多くの有用な記事が掲載されていますので是非ご覧ください。 1. Nejumi LLMリーダーボード Neo「Nejumi LLMリーダーボード Neo」は、日本語LLMの能力評価ランキングです。「llm-jp-eval」「MT-Bench」という2つのLLMベンチマークで評価します。 2. 評価項目評価項目は、次のとおりです。

LangChain のための wandb 入門

この入門記事は、「Weights & Biases」のご支援により提供されています。 1. wandb「wandb」 (Weights & Biases) は、機械学習の実験管理とモデルのパフォーマンス追跡に特化したツールです。「wandb」の主な機能は、次のとおりです。「LlamaIndex」「LangChain」では、「wandb」を使うことでトレース情報の自動的記録が可能で、期待する応答が返されなかった場合、処理の流れを視覚化して原因を突き止めることができます

OpenAI のファイチューニングAPI の新機能

以下の記事が面白かったので、簡単にまとめました。 1. ファインチューニングAPI2023年8月、GPT-3.5の「ファインチューニングAPI」をリリースしました。ファインチューニングは、特定のタスクに対するモデルの既存の知識と機能を強化するのに役立ちます。ファインチューニングの一般的な使用例は、次のとおりです。・Indeedの活用例世界的な求人マッチングサービスであるIndeedは、採用プロセスを簡素化したいと考えています。その一環として、求職者にパーソナライズ

LLMアプリケーションの記録・実験・評価のプラットフォーム Weave を試す

LLMアプリケーションの記録・実験・評価のプラットフォーム「Weave」がリリースされたので、試してみました。 1. Weave「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。主な機能は、次のとおりです。 2. Weave の準備今回は、「Google Colab」で「Weave」を使って「OpenAI」のモデルの記録・実験・評価を行います。 (1) パッケージのインス